[论文解读] Category-orthogonal object features guide information processing in recurrent neural networks trained for object categorization

Sushrut Thorat, Giacomo Aldegheri+1 more|arXiv (Cornell University)|Nov 15, 2021

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本研究表明，为在杂乱图像中进行物体分类而训练的循环神经网络（RNNs）利用循环信息流，通过迭代方式传递与类别正交的辅助变量（如物体位置、方向和尺度）以提升分类性能。关键发现是，这些辅助信息在各层中随时间推移而增强，并因果性地提升性能，证实RNNs利用非诊断性特征来引导上下文敏感的处理过程。

ABSTRACT

Recurrent neural networks (RNNs) have been shown to perform better than feedforward architectures in visual object categorization tasks, especially in challenging conditions such as cluttered images. However, little is known about the exact computational role of recurrent information flow in these conditions. Here we test RNNs trained for object categorization on the hypothesis that recurrence iteratively aids object categorization via the communication of category-orthogonal auxiliary variables (the location, orientation, and scale of the object). Using diagnostic linear readouts, we find that: (a) information about auxiliary variables increases across time in all network layers, (b) this information is indeed present in the recurrent information flow, and (c) its manipulation significantly affects task performance. These observations confirm the hypothesis that category-orthogonal auxiliary variable information is conveyed through recurrent connectivity and is used to optimize category inference in cluttered environments.

研究动机与目标

• 研究在杂乱等挑战性条件下训练用于物体分类的RNN中，循环连接的功能作用。
• 检验循环信息流是否传递与类别正交的辅助变量（如位置、方向、尺度）以支持更优的分类。
• 确定在循环路径中操纵此类辅助信息是否因果性地影响任务性能。
• 表征辅助变量信息在神经网络中随时间与层次的演化过程。

提出的方法

• 在杂乱图像中的物体分类任务上，训练了一个具有侧向和自顶向下循环连接的RNN，展开为4个时间步。
• 将循环信息流操作化为前向激活与侧向/自顶向下循环输入之和的乘法交互作用。
• 在每个层级和时间步使用诊断性线性读出头，以解码辅助变量信息（位置、方向、尺度）的存在。
• 通过扰动循环信息流执行在仿真中的因果实验，以评估其对网络性能的影响。
• 比较前向信号与循环信号之间乘法与加法交互机制的功能差异。
• 分析跨层级与时间的信息动力学，以评估辅助变量表征的时间演化过程。

实验结果

研究问题

• RQ1 在物体分类过程中，RNN中的循环信息流是否传递与类别正交的辅助变量（如物体位置、方向、尺度）？
• RQ2 在循环网络中，辅助变量的表征是否随时间在各网络层级中逐步增强？
• RQ3 关于辅助变量的信息是否特异地存在于循环信息流中，而非前向路径中？
• RQ4 操纵通过循环路径传输的辅助变量信息是否因果性地影响网络的分类性能？
• RQ5 前向与循环信号之间不同的交互机制（乘法与加法）如何影响辅助信息的传输与实用性？

主要发现

• 所有网络层级中，与类别正交的辅助变量信息（位置、方向、尺度）随时间推移而增加，表明这些表征逐步得到优化。
• 循环信息流携带了显著且持续增加的辅助变量信息，证实其作为上下文依赖处理通道的关键作用。
• 扰动通过循环路径传输的辅助变量信息导致分类性能显著下降，证明其在任务成功中的因果性角色。
• 前向与循环信号之间的乘法交互机制通过随时间选择性调制输入处理，有效实现了杂乱减少。
• 加法交互机制下也观察到相同的信息动力学，但乘法交互机制表现出更强且更直观的杂乱减少效果，表明其在条件计算中具有功能优势。
• 结果支持如下假设：RNN通过利用辅助变量，借助循环连接迭代聚焦于相关物体特征，从而在杂乱环境中提升鲁棒性。