[论文解读] Focus of Attention Improves Information Transfer in Visual Features

Matteo Tiezzi, Stefano Melacci+3 more|arXiv (Cornell University)|Jun 16, 2020

Visual Attention and Saliency Detection参考文献 30被引用 4

一句话总结

本文提出了一种新颖的在线学习框架，将类人注意力机制与二阶微分方程相结合，以在视觉流中最大化互信息（MI）。通过注意力驱动轨迹过滤输入数据，该模型在聚焦区域的信息传输量显著高于均匀采样或随机采样，表明注意力引导的学习可提升实时视觉处理中的MI估计性能。

ABSTRACT

Unsupervised learning from continuous visual streams is a challenging problem that cannot be naturally and efficiently managed in the classic batch-mode setting of computation. The information stream must be carefully processed accordingly to an appropriate spatio-temporal distribution of the visual data, while most approaches of learning commonly assume uniform probability density. In this paper we focus on unsupervised learning for transferring visual information in a truly online setting by using a computational model that is inspired to the principle of least action in physics. The maximization of the mutual information is carried out by a temporal process which yields online estimation of the entropy terms. The model, which is based on second-order differential equations, maximizes the information transfer from the input to a discrete space of symbols related to the visual features of the input, whose computation is supported by hidden neurons. In order to better structure the input probability distribution, we use a human-like focus of attention model that, coherently with the information maximization model, is also based on second-order differential equations. We provide experimental results to support the theory by showing that the spatio-temporal filtering induced by the focus of attention allows the system to globally transfer more information from the input stream over the focused areas and, in some contexts, over the whole frames with respect to the unfiltered case that yields uniform probability distributions.

研究动机与目标

• 解决从连续视觉流中进行无监督在线学习的挑战，其中批量处理方法不适用。
• 在时间动态条件下，利用互信息最大化来建模实时信息传输。
• 研究类人注意力机制（由显著性和运动驱动）如何提升视觉学习中的信息传输效率。
• 评估不同时间准则（PLA、AVG、VAR）在在线MI最大化中估计微熵的影响。
• 比较注意力引导学习与均匀采样和随机采样在MI增益方面的差异。

提出的方法

• 该框架使用二阶微分方程来建模注意力焦点和学习动态，其灵感来源于物理学中的最小作用量原理。
• 注意力焦点被建模为引力场中的质量分布，运动和视觉特征决定注意力在输入帧上的轨迹。
• 通过时间估计微熵项，在线最大化输入视觉特征与输出符号表示之间的互信息（MI）。
• 系统采用具有隐藏神经元的神经架构，将视觉特征映射为离散符号，学习由注意力轨迹驱动。
• 使用三种时间局部性准则——PLA（时间局部性）、AVG（移动平均）和VAR（基于方差）——来近似微熵随时间的演化。
• 该模型使用FOA（注意力焦点）轨迹进行训练，并与均匀（UNI）和随机扫描路径（Rnd）采样策略进行比较。

实验结果

研究问题

• RQ1 与均匀采样或随机采样相比，使用类人注意力机制是否能提升在线视觉学习中的信息传输效率？
• RQ2 不同时间估计策略（PLA、AVG、VAR）如何影响在线学习过程中互信息的稳定性和增长？
• RQ3 注意力引导学习在聚焦区域与整个图像帧中对MI的增强程度如何？
• RQ4 二阶微分模型是否能有效统一捕捉注意力动态与学习动态？
• RQ5 观察到的MI增加是由于注意力模型本身，还是仅仅因为输入维度减少所致？

主要发现

• FOA（注意力焦点）轨迹在所有测试中均持续产生高于均匀（UNI）和随机（Rnd）采样的互信息（MI），尤其在Carpark和SparseMNIST数据集中表现显著。
• 在Carpark数据集中，使用架构D的FOA轨迹使MI达到0.675，显著优于UNI基线的0.422和Rnd基线的0.489。
• 在SparseMNIST数据集中，基于FOA的模型在架构D（AVG准则）下实现了0.486的MI，超过UNI基线的0.112和Rnd基线的0.209。
• 基于方差的VAR时间准则相比PLA和AVG表现出更快的收敛速度和更稳定的MI估计，而PLA和AVG在初期表现出波动。
• 在某些配置中，如Carpark数据集搭配架构D，FOA轨迹产生的MI高于UNI分布，表明注意力过滤可增强全局信息传输。
• 学习动态显示，MI随时间趋于稳定，波动随处理流数据量的增加而减小，尤其是在使用FOA轨迹时更为明显。