[論文レビュー] Learning where to Attend with Deep Architectures for Image Tracking

Misha Denil, Loris Bazzani+2 more|arXiv (Cornell University)|Sep 16, 2011

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 6

ひとこと要約

本論文は、神経科学にインspiredされた二パス構造を用いて、物体認識と視線制御を共同で学習する深層学習ベースの注目メカニズムを提案する。縁側（アイデンティティ）パスは、要因分解されたRBMを用いて外観モデル化を行い、背側（制御）パスはパーティクルフィルタリングとベイズ最適化を用いて視線選択を実行する。主な貢献は、部分情報に適応する連続的で部分情報に配慮した視線方策を、報酬表面のガウス過程モデリングによって実現したことである。この手法は、不完全情報下での不確実性低減とアクション空間の柔軟性において、離散的かつ完全情報に依存する手法を上回る性能を発揮する。

ABSTRACT

We discuss an attentional model for simultaneous object tracking and recognition that is driven by gaze data. Motivated by theories of perception, the model consists of two interacting pathways: identity and control, intended to mirror the what and where pathways in neuroscience models. The identity pathway models object appearance and performs classification using deep (factored)-Restricted Boltzmann Machines. At each point in time the observations consist of foveated images, with decaying resolution toward the periphery of the gaze. The control pathway models the location, orientation, scale and speed of the attended object. The posterior distribution of these states is estimated with particle filtering. Deeper in the control pathway, we encounter an attentional mechanism that learns to select gazes so as to minimize tracking uncertainty. Unlike in our previous work, we introduce gaze selection strategies which operate in the presence of partial information and on a continuous action space. We show that a straightforward extension of the existing approach to the partial information setting results in poor performance, and we propose an alternative method based on modeling the reward surface as a Gaussian Process. This approach gives good performance in the presence of partial information and allows us to expand the action space from a small, discrete set of fixation points to a continuous domain.

研究の動機と目的

• 人間の視覚的注目メカニズムを模倣する、連合的物体追跡と認識システムの開発。
• 限定的な観測しか得られない部分情報環境下における視線選択の課題への対処。
• 固定離散的注視点から連続的アクション空間への視線制御の拡張による、追跡のロバストネス向上。
• 不確実性を扱い、方策学習を向上させるために、視線選択の報酬表面をガウス過程でモデリング。
• 特に複雑な照明変化、ポーズ変化、運動変化を伴う実世界の動画シーケンスにおいて、オンラインで適応可能な追跡方策の実現。

提案手法

• 本システムは二パス構造を採用：縁側パスは2層の要因分解された制限ボルツマンマシン（RBM）を用いてアイデンティティと外観モデリングを実行し、背側パスは制御と局所化を担当。
• 物体の位置、スケール、運動は、ターゲット状態の信念状態を維持するパーティクルフィルタを用いて推定される。
• 視線選択は、追跡の不確実性を最小化するようにアクション（注視点）を選択する逐次的意思決定問題としてモデル化される。
• 連続的注視位置における報酬表面（不確実性低減）をガウス過程でモデリングし、部分情報下でも効率的な最適化を可能にする。
• 視線方策はベイズ最適化により学習され、連続的アクション空間における探索と活用のバランスが取られる。
• システムは、サリエンシーと運動フラウを統合してパーティクルフィルタリングのための提案分布を生成し、初期状態推定の精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの注目メカニズムは、リアルタイム動画シーケンスにおいて、適応的視線選択によって追跡の不確実性を効果的に低減できるか？
• RQ2 部分情報下で、離散的視線方策を連続的アクション空間に拡張した場合、性能はどの程度低下するか？
• RQ3 報酬表面のガウス過程モデリングは、従来のバンディット手法と比較して、部分観測環境下での方策学習を改善できるか？
• RQ4 ベイズ最適化は、複雑な照明、ポーズ、運動変化を伴う実世界の動画データにおいて、効果的な視線方策を学習できるか？
• RQ5 アイデンティティパスからの分類器の信頼度を活用することで、システムは追跡失敗からの回復が可能か？

主な発見

• 報酬表面のガウス過程モデリングを用いた本手法は、部分情報環境下で離散的方策を連続的アクションに単純に拡張した場合に比べ、顕著に優れた性能を発揮する。
• アルゴリズムが学習した最適な注視点は密に集中しており、明確に区別可能な観測を生み出すことから、効果的な注目集中が実現されている。
• YouTube クリエイターデータセットでは、ベイズ最適化が、質的に妥当かつ効果的な追跡行動を生み出す視線選択方策を成功裏に学習した。
• 本システムは、実世界の動画シーケンスにおける照明変化、顔の表情変化、頭部ポーズ変化といった視覚的変動に対しても、ロバストであることが示された。
• 信念状態の不確実性を視線選択に統合することで、特に不適切な注視選択後の探索と活用のバランスが改善された。
• 本手法により連続的視線制御が可能となり、固定された離散的注視点を超えたアクション空間の拡張が実現された一方で、高い追跡精度を維持している。