[論文レビュー] End-to-End Tracking and Semantic Segmentation Using Recurrent Neural Networks

Peter Ondrúška, Julie Dequaire+2 more|arXiv (Cornell University)|Apr 18, 2016

Anomaly Detection Techniques and Applications参考文献 24被引用数 46

ひとこと要約

本論文は、リアルタイムで生のレーザデータを用いて、オブジェクト追跡とセマンティックセグメンテーションを統合的に実行するエンドツーエンドの再帰ニューラルネットワークフレームワークを提案する。教師なしディープトラッキングを活用して表現学習とインダクティブトランスファーを実現し、最小限のラベル付きデータでオブジェクト分類を可能にする。本手法は、実世界の交差点データにおいて、最先端のモデルフリー追跡およびワンショット分類ベースラインを上回る優れた性能を達成する。

ABSTRACT

In this work we present a novel end-to-end framework for tracking and classifying a robot's surroundings in complex, dynamic and only partially observable real-world environments. The approach deploys a recurrent neural network to filter an input stream of raw laser measurements in order to directly infer object locations, along with their identity in both visible and occluded areas. To achieve this we first train the network using unsupervised Deep Tracking, a recently proposed theoretical framework for end-to-end space occupancy prediction. We show that by learning to track on a large amount of unsupervised data, the network creates a rich internal representation of its environment which we in turn exploit through the principle of inductive transfer of knowledge to perform the task of it's semantic classification. As a result, we show that only a small amount of labelled data suffices to steer the network towards mastering this additional task. Furthermore we propose a novel recurrent neural network architecture specifically tailored to tracking and semantic classification in real-world robotics applications. We demonstrate the tracking and classification performance of the method on real-world data collected at a busy road junction. Our evaluation shows that the proposed end-to-end framework compares favourably to a state-of-the-art, model-free tracking solution and that it outperforms a conventional one-shot training scheme for semantic classification.

研究の動機と目的

• センサの遮蔽により認識が制限される複雑で動的な、部分的に観察可能な実世界環境において、正確な状況認識を維持する課題に対処すること。
• マルチステージの認識パイプラインにおける手作業で設計されたコンponentsに依存を減らし、生のセンサ入力からエンドツーエンドの学習を可能にすること。
• 統一された再帰ニューラルネットワークアーキテクチャを用いて、同時にオブジェクト追跡とセマンティック分類を実行すること。
• 教師なしトラッキングの事前学習からのインダクティブトランスファーを活用することで、大規模なアノテート済みデータセットへの依存を最小限に抑えること。
• 実世界のシナリオにおいて完全な遮蔽を経ても、追跡と分類の両方でリアルタイム性能と耐障害性を示すことを実証すること。

提案手法

• 本フレームワークは、レーザデータにおけるさまざまなサイズのオブジェクトを処理できるマルチスケール畳み込み層を備えたカスタム再帰ニューラルネットワークアーキテクチャを採用する。
• 長期追跡のための時間的情報を保持する動的メモリと、場所固有の環境知識を保存する静的メモリを統合する。
• ネットワークはまず、生のレーザシーケンスから将来の占有グリッドを予測するための教師なしディープトラッキングを用いて事前学習される。
• インダクティブトランスファーは、学習された隠れ表現 $ h_t $ を分類ヘッドの入力として使用することで適用され、データ要件が低減される。
• セマンティック分類は、トラッキングプロセスから得られる空間的・文脈的特徴を捉えた隠れ状態 $ h_t $ を用いて分類器を学習することで実施される。
• システムは8Hzでレーザデータを処理でき、GPU上で1フレームあたり15msの推論時間を達成しており、リアルタイム動作が可能である。

実験結果

リサーチクエスチョン

• RQ1 生のレーザ入力から、動的で遮蔽のある環境でもリアルタイムでオブジェクト追跡とセマンティックセグメンテーションを統合的に実行できる単一のエンドツーエンドディープラーニングフレームワークは構築可能か？
• RQ2 トラッキングタスクにおける教師なし事前学習が、最小限のラベル付きデータで下流のセマンティック分類性能をどの程度向上させるか？
• RQ3 動的および静的メモリを備えた提案された再帰アーキテクチャは、長期的な遮蔽を経ても正確なオブジェクト状態を維持するのにどの程度有効か？
• RQ4 隠れ表現 $ h_t $ をセマンティック記述子として使用することは、生のセンサ入力からの直接分類を上回る性能を発揮するか？
• RQ5 従来のマルチステージおよび最先端のモデルフリー追跡パイプラインと比較して、エンドツーエンドフレームワークは正確性と耐障害性においてどの程度優れているか？

主な発見

• 提案手法は、将来の占有状態を予測する面で、元のディープトラッキングアーキテクチャおよび最先端のマルチステージパイプラインを上回り、10フレームの予測期間にわたりF1スコアがより高い。
• 隠れ表現 $ h_t $ を用いたセマンティック分類では、負の対数尤度が49.129に低下するのに対し、生の入力 $ x_t $ からの直接分類では101.967にまで上昇し、インダクティブトランスファーの有効性が明確に示された。
• 入力がなくても、静的メモリに基づいて妥当な占有状態予測が生成されることから、場所固有の環境事前知識を学習・保持できる能力が裏付けられた。
• 完全な遮蔽を経ても、オブジェクトの追跡と分類が正確に維持され、短期的な将来のオブジェクト運動の予測も可能である。
• 前方推論はNvidia Titan GPU上で1フレーム15msで実行され、実世界のレーザデータストリームで8Hzのリアルタイム動作が可能である。
• 混同行列から、分類精度が高く、主な誤分類原因は2次元レーザ形状が類似する歩行者と自転車の間での誤分類であることが明らかになった。