[论文解读] Learning where to Attend with Deep Architectures for Image Tracking

Misha Denil, Loris Bazzani+2 more|arXiv (Cornell University)|Sep 16, 2011

Domain Adaptation and Few-Shot Learning参考文献 34被引用 6

一句话总结

本文提出了一种基于深度学习的注意力追踪系统，通过受神经科学启发的双通路架构，联合学习目标识别与注视控制：腹侧（身份）通路通过因子化RBM进行外观建模，背侧（控制）通路通过粒子滤波和贝叶斯优化实现注视选择。关键贡献在于通过高斯过程对奖励曲面进行建模，实现连续的、部分信息感知的注视策略，该方法在不确定度减少和动作空间灵活性方面优于离散的、全信息方法。

ABSTRACT

We discuss an attentional model for simultaneous object tracking and recognition that is driven by gaze data. Motivated by theories of perception, the model consists of two interacting pathways: identity and control, intended to mirror the what and where pathways in neuroscience models. The identity pathway models object appearance and performs classification using deep (factored)-Restricted Boltzmann Machines. At each point in time the observations consist of foveated images, with decaying resolution toward the periphery of the gaze. The control pathway models the location, orientation, scale and speed of the attended object. The posterior distribution of these states is estimated with particle filtering. Deeper in the control pathway, we encounter an attentional mechanism that learns to select gazes so as to minimize tracking uncertainty. Unlike in our previous work, we introduce gaze selection strategies which operate in the presence of partial information and on a continuous action space. We show that a straightforward extension of the existing approach to the partial information setting results in poor performance, and we propose an alternative method based on modeling the reward surface as a Gaussian Process. This approach gives good performance in the presence of partial information and allows us to expand the action space from a small, discrete set of fixation points to a continuous domain.

研究动机与目标

• 开发一种模仿人类视觉注意机制的联合目标追踪与识别系统。
• 解决在仅有有限观测可用的部分信息设置下的注视选择挑战。
• 将注视控制从离散的注视点扩展到连续动作空间，以提升追踪鲁棒性。
• 使用高斯过程建模注视选择的奖励曲面，以处理不确定性并改善策略学习。
• 通过贝叶斯优化实现实时适应的追踪策略，尤其适用于具有复杂变化的现实世界视频序列。

提出的方法

• 系统采用双通路架构：腹侧通路通过两层因子化受限玻尔兹曼机（RBM）实现身份与外观建模，背侧通路负责控制与定位。
• 通过粒子滤波估计目标的位置、尺度和运动，维持目标状态的信念状态。
• 将注视选择建模为序列决策问题，其中动作（注视点）被选择以最小化追踪不确定性。
• 使用高斯过程对连续注视位置上的奖励曲面（不确定性减少）进行建模，实现在部分信息下的高效优化。
• 通过贝叶斯优化学习注视策略，该方法在连续动作空间中平衡探索与利用。
• 系统整合显著性与运动光流，生成粒子滤波的提议分布，从而改善初始状态估计。

实验结果

研究问题

• RQ1 基于深度学习的注意力机制是否能通过自适应注视选择在实时视频序列中有效降低追踪不确定性？
• RQ2 当将离散注视策略扩展到部分信息下的连续动作空间时，性能会如何退化？
• RQ3 与传统多臂赌博机方法相比，对奖励曲面使用高斯过程建模是否能提升部分观测设置下的策略学习效果？
• RQ4 贝叶斯优化在具有复杂光照、姿态和运动变化的真实世界视频数据上，能否学习到有效的注视策略？
• RQ5 系统能否通过身份通路的分类器置信度实现追踪失败后的恢复？

主要发现

• 所提出的使用高斯过程对奖励曲面建模的方法，在部分信息设置下显著优于将离散策略直接扩展到连续动作的简单方法。
• 算法学习到的最优注视点高度聚集，且产生高度可区分的观测结果，表明注意力聚焦有效。
• 在YouTube名人数据集上，贝叶斯优化成功学习到一种注视选择策略，实现了定性上合理且高效的追踪行为。
• 系统在现实世界视频序列中对光照变化、面部表情和头部姿态变化等视觉变化表现出鲁棒性。
• 将信念状态不确定性整合到注视选择中，实现了更好的探索-利用权衡，尤其在不良注视选择后表现更优。
• 该方法实现了连续注视控制，在扩展动作空间至固定离散注视点之外的同时，保持了高追踪精度。