[論文レビュー] End-to-end Active Object Tracking via Reinforcement Learning

Wenhan Luo, Peng Sun+4 more|arXiv (Cornell University)|May 30, 2017

Video Surveillance and Tracking Methods参考文献 57被引用数 40

ひとこと要約

本論文は、シミュレータ環境において、畳み込みニューラルネットワークとLSTMから構成されるエージェントが、生の動画フレームから直接カメラ制御行動を予測する、エンド・ツー・エンドのアクティブオブジェクト追跡システムを提案する。この手法は、未観測のオブジェクトの外観、軌道、背景、および干渉要因に対しても、強力な一般化性能を達成し、実世界のシナリオへの転送性能を示すが、実世界での微調整を必要としない。

ABSTRACT

We study active object tracking, where a tracker takes as input the visual observation (i.e., frame sequence) and produces the camera control signal (e.g., move forward, turn left, etc.). Conventional methods tackle the tracking and the camera control separately, which is challenging to tune jointly. It also incurs many human efforts for labeling and many expensive trial-and-errors in realworld. To address these issues, we propose, in this paper, an end-to-end solution via deep reinforcement learning, where a ConvNet-LSTM function approximator is adopted for the direct frame-toaction prediction. We further propose an environment augmentation technique and a customized reward function, which are crucial for a successful training. The tracker trained in simulators (ViZDoom, Unreal Engine) shows good generalization in the case of unseen object moving path, unseen object appearance, unseen background, and distracting object. It can restore tracking when occasionally losing the target. With the experiments over the VOT dataset, we also find that the tracking ability, obtained solely from simulators, can potentially transfer to real-world scenarios.

研究の動機と目的

• 従来の受動的トラッカーがカメラ制御を処理できないこと、および人的ラベル付けや実世界での試行錯誤を必要とするという制限を克服すること。
• 深層強化学習を用いて、オブジェクト追跡とカメラ制御を統合的に最適化するエンド・ツー・エンドのアクティブ追跡ソリューションを開発すること。
• 新しいオブジェクトの外観、軌道、背景、および干渉要因を含む未観測の環境への一般化を可能にすること。
• シミュレーションで学習した方策が、実世界の追跡シナリオに無微調整で効果的に転送可能であることを実証すること。

提案手法

• 生の動画フレームを直接カメラ制御行動（例：前進、左に旋回）にマッピングするため、ConvNet-LSTMアーキテクチャをエンド・ツー・エンドの方法で用いる。
• A3C強化学習アルゴリズムを用いて、ターゲットオブジェクトへの接近を促進するように設計されたカスタムの密集報酬関数を用いてエージェントを訓練する。
• シミュレータAPIを用いて、オブジェクトの外観、背景、運動軌道を変化させた多様な訓練シナリオを生成することで、環境の拡張を実施する。
• 仮想環境（ViZDoomおよびUnreal Engine）を活用することで、人的ラベル付けされたバウンディングボックスや実世界での展開コストを一切必要とせずにエージェントを訓練する。
• エージェントの行動意思決定に最も影響を与える画像領域を特定するため、サリエンシー地図分析を実施し、ターゲットオブジェクトに注目していることを確認する。
• 訓練済み方策をVOTデータセットの実世界動画クリップ上で評価し、ゼロショット転送性を評価する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの深層強化学習エージェントは、人的ラベル付けされたバウンディングボックスや実世界データ収集を一切行わずに、アクティブオブジェクト追跡を学習できるか？
• RQ2 シミュレーションで訓練された方策は、未観測のオブジェクト外観、運動経路、背景環境に対してどの程度一般化できるか？
• RQ3 オクルージョンや急激な運動による一時的なターゲット喪失後、エージェントは追跡を回復できるか？
• RQ4 シミュレーションで学習した方策は、微調整なしに実世界の動画シーケンスに効果的に転送可能か？
• RQ5 カメラ制御意思決定の際に、エージェントはどの視覚的手がかりを優先しているか？

主な発見

• 提案されたエンド・ツー・エンドのRLベースのトラッカーは、シミュレーション内において未観測のオブジェクト運動経路、外観、背景、および干渉要因に対しても、強力な一般化性能を示す。
• 一時的なターゲット喪失後も、トラッカーは追跡を正常に回復させ、追跡失敗に対するレジリエンスを示している。
• 実世界の動画クリップに対してVOTデータセットでテストした結果、高い性能を達成しており、シミュレーションから現実へのゼロショット転送性が強く裏付けられている。
• サリエンシー地図分析により、エージェントがターゲットオブジェクトに注目していることが確認され、正しい視覚的コンテンツに注目していることが示された。
• 従来の手動でチューニングされたカメラ制御モジュールを搭載した受動的トラッカーに比べ、本手法はアクティブ追跡シナリオにおいて優れた性能を発揮している。
• カスタム報酬関数と環境拡張は、方策の一般化性能と訓練の安定性を顕著に向上させた。