[論文レビュー] Hierarchical Attentive Recurrent Tracking

Adam R. Kosiorek, Alex Bewley+1 more|arXiv (Cornell University)|Jun 28, 2017

Video Surveillance and Tracking Methods参考文献 18被引用数 30

ひとこと要約

本稿では、空間的、外見的、位置に基づく3段階の注目メカニズムを備えた、生物学的にインspiredで完全に微分可能なモデルである階層的注意型再帰追跡（HART）を提案する。再帰的ネットワークと多段階注目メカニズム、および補助損失を組み合わせることで、HARTはKITTIおよびKTHデータセットにおいて、遮蔽やごみだらけのシーンの状況でも最先端の性能を達成する。

ABSTRACT

Class-agnostic object tracking is particularly difficult in cluttered environments as target specific discriminative models cannot be learned a priori. Inspired by how the human visual cortex employs spatial attention and separate "where" and "what" processing pathways to actively suppress irrelevant visual features, this work develops a hierarchical attentive recurrent model for single object tracking in videos. The first layer of attention discards the majority of background by selecting a region containing the object of interest, while the subsequent layers tune in on visual features particular to the tracked object. This framework is fully differentiable and can be trained in a purely data driven fashion by gradient methods. To improve training convergence, we augment the loss function with terms for a number of auxiliary tasks relevant for tracking. Evaluation of the proposed model is performed on two datasets: pedestrian tracking on the KTH activity recognition dataset and the more difficult KITTI object tracking dataset.

研究の動機と目的

• ターゲット固有のモデルを事前に学習できない、ごみだらけの環境におけるクラスに依存しないオブジェクト追跡の課題に対処すること。
• 人間の視覚的注目メカニズムを模倣することで、遮蔽、外見の変化、干渉要因の影響に対して追跡の頑健性を向上させること。
• 空間的および外見的注目と再帰的状態推定を統合した、完全に微分可能でエンド・トゥ・エンドで学習可能なフレームワークを開発すること。
• 空間的注目、外見的注目、およびバウンディングボックス回帰のための補助損失を導入することで、学習の安定性と収束性を向上させること。
• KITTI や KTH といった実世界のデータセットにおいて、特に従来の注目型トラッカーが失敗する状況でも優れた性能を示すことを実証すること。

提案手法

• 3段階の階層的注目メカニズムを採用する：(1) 関連のある画像の断片を抽出する空間的注目、(2) ターゲット固有の特徴を強調する特徴マップを生成する外見的注目、(3) ごみを抑制する位置に基づく注目。
• LSTMに基づく状態推定器を用い、時間経過に伴うオブジェクトの運動をモデル化する。隠れ状態は注目された特徴に条件付けられる。
• 4つの補助損失（バウンディングボックス回帰、空間的注目損失、外見的注目損失、最終追跡出力のための損失）を含むマルチタスク学習の目的関数を統合する。
• バックプロパゲーションにより注目パラメータが更新されるフィードバックループを適用し、勾配降下法によるエンド・トゥ・エンド学習を可能にする。
• 特徴抽出器を事前学習済み重みで初期化し、学習の安定化を図るためのカリキュラム学習を用いるが、補助損失がなければ効果が限定的であった。
• 勾配が注目プロセス全体に伝わる微分可能で断片抽出機構を採用し、注目と追跡の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ごみが多く、干渉要因が頻発する動画シーケンスにおいて、階層的注目メカニズムが追跡性能の向上に寄与するか？
• RQ2 特に外見的注目および空間的注目に対する補助損失を組み込むことで、学習収束性とモデルの頑健性が向上するか？
• RQ3 ダル・および・ベントラル視覚路を模倣する生物学的にインspiredな注目階層が、標準的な再帰的または注目のみのトラッカーを上回るか？
• RQ4 ターゲットクラスに関する事前知識なしに学習された場合、モデルは遮蔽や外見の変化に対してどのように対処するか？
• RQ5 注目ベースの特徴選択は、追跡における解釈可能性を向上させるとともに、計算コストをどれほど削減できるか？

主な発見

• 外見的注目損失を含むモデルは、遮蔽中でも追跡を維持することができ、図6(a)で示されるように、歩行者が他の人物に遮られてもIDスイッチを防止する。
• 外見的注目損失を含まないモデルは、曖昧または誤った位置マップを生成し、ターゲットを逃すか、ごみに注目する傾向がある。図6(b)に示すように、これは顕著である。
• 空間的注目バイアスは一貫して正の値に収束し、モデルが真値バウンディングボックスよりもわずかに大きな領域に注目するよう学習していることを示しており、運動のゆらぎに対する頑健性が向上している。
• 補助損失、特に空間的および外見的注目損失の導入が、消失勾配を回避し、安定した学習を可能にする上で不可欠であった。
• HARTはKITTIおよびKTHデータセットにおいて、従来の注目型トラッカーを上回り、特に現実世界の困難な状況でも最先端の性能を達成した。
• 注目メカニズムにより、関連する特徴を強調する可視化可能な位置マップを生成し、モデルの意思決定プロセスの解釈可能性が向上した。