[論文レビュー] Persistent self-supervised learning principle: from stereo to monocular vision for obstacle avoidance

Kevin van Hecke, Guido de Croon+3 more|arXiv (Cornell University)|Mar 25, 2016

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 5

ひとこと要約

本論文は、障害物回避のためのステレオビジョンから単眼深度推定へと移行できる持続的自己教師あり学習（SSL）フレームワークを提案する。このフレームワークでは、衝突時にのみステレオビジョンを「トレーニングウィンズ」のように一時的に使用する。本手法はフィードバックによるデータバイアスを著しく軽減し、わずか4〜5分のトレーニングデータで実世界の実験において堅牢な単眼ナビゲーションを達成した。

ABSTRACT

Self-Supervised Learning (SSL) is a reliable learning mechanism in which a robot uses an original, trusted sensor cue for training to recognize an additional, complementary sensor cue. We study for the first time in SSL how a robot's learning behavior should be organized, so that the robot can keep performing its task in the case that the original cue becomes unavailable. We study this persistent form of SSL in the context of a flying robot that has to avoid obstacles based on distance estimates from the visual cue of stereo vision. Over time it will learn to also estimate distances based on monocular appearance cues. A strategy is introduced that has the robot switch from stereo vision based flight to monocular flight, with stereo vision purely used as 'training wheels' to avoid imminent collisions. This strategy is shown to be an effective approach to the 'feedback-induced data bias' problem as also experienced in learning from demonstration. Both simulations and real-world experiments with a stereo vision equipped AR drone 2.0 show the feasibility of this approach, with the robot successfully using monocular vision to avoid obstacles in a 5 x 5 room. The experiments show the potential of persistent SSL as a robust learning approach to enhance the capabilities of robots. Moreover, the abundant training data coming from the own sensors allows to gather large data sets necessary for deep learning approaches.

研究の動機と目的

• ロボット学習におけるフィードバックによるデータバイアス問題、特に教師ありから自己教師あり運用への移行時に生じる問題を解決すること。
• 元のセンサーキュー（ステレオビジョン）が故障した場合でもタスクのパフォーマンスを維持できる持続的SSL戦略を開発すること。
• 人為的アノテーションなしで、自らのセンサーデータのみを用いて飛行ロボットが単眼深度推定を学習できることを可能にすること。
• ステレオカメラを装備したAR.Drone 2.0を用いて、シミュレーションおよび実世界環境での持続的SSLの実現可能性と堅牢性を評価すること。
• 搭載されたセンサーデータがリアルタイムのロボットシステムにおける深層学習による単眼深度推定を支えられることを示すこと。

提案手法

• ロボットは初期学習段階でステレオビジョンを信頼できる監視信号として用い、単眼外観ベースの深度推定モデルを訓練する。
• 学習後、ロボットは単眼飛行に切り替え、深度推定には学習済みモデルに依存するが、衝突の危険がある場合にのみステレオビジョンに切り替える。
• 本手法は「トレーニングウィンズ」戦略を模倣しており、高リスク状況での安全装置としてステレオビジョンを活用する。
• 視覚的バッグオブワード（VBoW）モデルと小さな畳み込みニューラルネットワーク（CNN）を、リアルタイムのセンサーデータ上で訓練し、単眼画像特徴を深度推定にマッピングする。
• 学習プロセスでは、リアルタイムの視差推定値を教師データとして用いる教師あり損失関数を用い、生の視覚入力からエンドツーエンドの学習を可能にする。
• 本システムは、5×5 mの屋内環境でシミュレーションおよび実世界の両方の実験で評価された。

実験結果

リサーチクエスチョン

• RQ1 ステレオビジョンから単眼深度推定に移行する際、ロボットはどのように障害物回避性能を維持できるか？
• RQ2 持続的自己教師あり学習中にフィードバックによるデータバイアスを最小化するための行動戦略は何か？
• RQ3 人為的アノテート済みのデモンストレーションなしで、ロボットが自らのセンサーデータのみを用いて単眼深度推定を効果的に学習できるか？
• RQ4 実世界条件下で、学習済み単眼深度モデルの性能はステレオベース推定と比べてどうか？
• RQ5 トレーニング時間とデータ量は、学習済み単眼深度モデルの堅牢性および一般化性能にどのような影響を及ぼすか？

主な発見

• 衝突の危険がある場合にのみステレオビジョンを使用する「トレーニングウィンズ」戦略は、ステレオから単眼飛行へのハードスイッチに比べ、著しく優れており、データバイアスを軽減し、安全性を向上させた。
• 実世界実験では、わずか4〜5分のトレーニングで単眼ビジョンのみで障害物回避に成功し、約7,000〜9,000件の教師ありサンプルが得られた。
• 学習済み単眼深度モデルはVBoWベースラインと同等の性能を示し、より大きなデータセットを用いた深層学習統合の可能性を示した。
• 持続的SSLフレームワークにより、深層学習に適した豊富なオンボードトレーニングデータをロボットが収集でき、外部データ収集への依存を低減した。
• 学習中に一貫した監視信号を維持することで、デモンストレーションからの学習で見られるフィードバックによるデータ分布シフトを効果的に緩和した。
• CNNベースのモデルはAR.Drone 2.0のハードウェアに正常にデプロイされ、計算制約下でのオンボード推論の実現可能性を示した。