[論文レビュー] End-to-end Active Object Tracking and Its Real-world Deployment via Reinforcement Learning

Wenhan Luo, Peng Sun+4 more|arXiv (Cornell University)|Aug 10, 2018

Video Surveillance and Tracking Methods参考文献 60被引用数 6

ひとこと要約

本稿では、シミュレータ内で生の動画フレームからカメラ制御行動を直接予測するConvNet-LSTMエージェントを用いた、エンド・ツー・エンドのアクティブオブジェクト追跡システムを提案する。この手法は、未観測のオブジェクトの軌道、外観、背景に対して強力な一般化を達成し、最小限の現実世界でのチューニングでシミュレーションから実世界のTurtleBotロボットへの展開に成功する。

ABSTRACT

We study active object tracking, where a tracker takes visual observations (i.e., frame sequences) as input and produces the corresponding camera control signals as output (e.g., move forward, turn left, etc.). Conventional methods tackle tracking and camera control tasks separately, and the resulting system is difficult to tune jointly. These methods also require significant human efforts for image labeling and expensive trial-and-error system tuning in the real world. To address these issues, we propose, in this paper, an end-to-end solution via deep reinforcement learning. A ConvNet-LSTM function approximator is adopted for the direct frame-to-action prediction. We further propose an environment augmentation technique and a customized reward function, which are crucial for successful training. The tracker trained in simulators (ViZDoom and Unreal Engine) demonstrates good generalization behaviors in the case of unseen object moving paths, unseen object appearances, unseen backgrounds, and distracting objects. The system is robust and can restore tracking after occasional lost of the target being tracked. We also find that the tracking ability, obtained solely from simulators, can potentially transfer to real-world scenarios. We demonstrate successful examples of such transfer, via experiments over the VOT dataset and the deployment of a real-world robot using the proposed active tracker trained in simulation.

研究の動機と目的

• 追跡とカメラ制御を分離する従来のパasiveトラッカーの限界を克服し、手動でのチューニングや多数の現実世界での試行錯誤を回避すること。
• 模擬環境でエンド・ツー・エンドのエージェントを学習させることで、ラベル付けやシステムチューニングにかかる人的負担を低減すること。
• 未観測のオブジェクトの軌道、外観、背景、および干渉要因に対しても、アクティブトラッキングの強力な一般化を実現すること。
• 高度な環境拡張と現実世界のロボットの運動学的特性に適した適切な行動空間設計を通じて、シミュレーションから現実へのギャップを埋めること。
• シミュレーションでの学習に特化したトラッカーが、物理的TurtleBot上で実際に成功裏に展開されることを実証すること。

提案手法

• 生の動画フレームを直接カメラ制御行動（例：前進、左に旋回）にマッピングするため、ConvNet-LSTMアーキテクチャを用いることでエンド・ツー・エンドの学習を可能にする。
• A3C強化学習アルゴリズムを用いて、ターゲットを画像中央に保持し、サイズの一貫性を促進するカスタムの密集報酬関数を用いてエージェントを訓練する。
• オブジェクトの外観、背景、軌道、および干渉要因を動的に変化させることで、シミュレータ内で環境拡張を実施し、一般化性能を向上させる。
• 行動空間を慎重に設計（離散的または連続的）することで、現実世界のロボットの運動学的特性に適合させ、シミュレーションから現実への転送を向上させる。
• カスタムAPIおよびプラグインを用いて仮想環境を拡張し、トレーニング中に多様な現実世界の状況をシミュレートする。
• システムはシミュレーションと現実世界のロボット展開の両方で評価され、VOTデータセットのクリップと物理的ロボット実験を通じて転送の妥当性が検証される。

実験結果

リサーチクエスチョン

• RQ1 シミュレーション内でのみ学習されたエンド・ツー・エンドのアクティブトラッキング方策が、未観測のオブジェクトの運動軌道や外観に対しても一般化可能か？
• RQ2 カスタム報酬関数を用いた強化学習は、干渉要因や背景の変化に対しても、強力な追跡を実現するのにどの程度有効か？
• RQ3 現実世界での微調整なしに、シミュレーション環境で学習した方策が、現実世界のロボット制御にどの程度成功裏に転送可能か？
• RQ4 環境拡張が、アクティブトラッカーの一般化性能と耐性に果たす役割は何か？
• RQ5 行動空間の選択（離散的対連続的）が、追跡性能および現実世界での展開成功に与える影響は何か？

主な発見

• トラッカーは、未観測のオブジェクトの軌道、外観、背景、および干渉要因に対しても効果的に一般化され、一時的なターゲット喪失後でも安定した追跡を維持する。
• 屋内での離散的行動設定では0.90の成功率、屋外での連続的行動設定では0.70の成功率を達成し、多様な条件下でも優れた性能を示す。
• トラッカーは、シミュレーションから現実世界のTurtleBotへの展開に成功し、屋内および屋外環境の両方で安定したアクティブトラッキングを実現する。
• エージェントは、ターゲットを画像中央に保ち、一貫したターゲットサイズを維持するよう学習しており、効果的な動きに依存した制御意思決定がなされていることが示唆される。
• 連続的行動空間の使用により、屋外環境での性能が向上し、成功率は0.70（屋内離散的設定の0.90）を記録する。
• 定性的な結果から、トラッカーは単純な「停止」行動を避けており、代わりにターゲットの運動方向に従う行動を示しており、LSTMエンコーダーを通じた運動予測の学習が行われていることが示唆される。