[論文レビュー] Visual search and recognition for robot task execution and monitoring

Lorenzo Mauro, Francesco Puja+5 more|arXiv (Cornell University)|Feb 7, 2019

Reinforcement Learning in Robotics参考文献 39被引用数 6

ひとこと要約

本論文は、深層強化学習と古典的計画法を統合した視覚ベースの実行監視フレームワークを提案する。このシステムにより、ロボットは実環境においてタスク関連の対象物を自律的に探索・認識し、障害から回復し、タスクを完了できる。学習された視覚的探索方策は変更済みDQNを用い、物体検出にはFaster R-CNNを採用しており、平均19ステップで視覚的探索の成功率が88.47%に達した。

ABSTRACT

Visual search of relevant targets in the environment is a crucial robot skill. We propose a preliminary framework for the execution monitor of a robot task, taking care of the robot attitude to visually searching the environment for targets involved in the task. Visual search is also relevant to recover from a failure. The framework exploits deep reinforcement learning to acquire a "common sense" scene structure and it takes advantage of a deep convolutional network to detect objects and relevant relations holding between them. The framework builds on these methods to introduce a vision-based execution monitoring, which uses classical planning as a backbone for task execution. Experiments show that with the proposed vision-based execution monitor the robot can complete simple tasks and can recover from failures in autonomy.

研究の動機と目的

• 従来の3次元マップがロボットの注視点やタスクの関連性と一致しないロボットタスク実行のギャップを埋めるため。
• 効率的な認識を可能にするために、タスク関連の対象物および関係のみを捉える簡潔なマインドマップベースの表現を構築するため。
• 深層強化学習に従う視覚ベースの探索によって、障害からの自律的回復を可能にするため。
• 古典的計画法とリアルタイムの視覚的認識を統合し、強固なタスク実行監視を実現するため。
• 完全な3次元シーン再構築に依存することを減らし、注目度に基づく、目的指向の視覚的探索に焦点を当てるため。

提案手法

• フレームワークは、仮想環境で訓練された変更済みのディープQネットワーク（DQN）を用い、RGB入力をもとに注視点を指向する視覚的探索方策を学習する。
• 物体検出と関係認識にはFaster R-CNNを用い、状態表現のためのシーン特徴を抽出する。
• マインドマップは、検出された対象物とその空間的関係の動的でタスク固有のスナップショットとして構築され、メモリのオーバーヘッドを最小限に抑える。
• 実行監視モジュールは計画と認識を調整し、事後条件を検証し、障害検出時に視覚的探索をトリガーする。
• システムはループ形式で動作する：計画モジュールが行動を提案し、認識モジュールが条件を検証し、障害発生時に視覚的探索が注視点を再設定する。
• 訓練は最初にシミュレーションで実施し、一般化性能を向上させるために実環境でのファインチューニングを計画している。

実験結果

リサーチクエスチョン

• RQ1 完全な3次元環境再構築を維持せずに、タスク関連の対象物を効率的に探索する方法は何か？
• RQ2 深層強化学習方策は、ロボットタスク実行および障害回復のための効果的な視覚的探索戦略をどの程度学習できるか？
• RQ3 検出された対象物と関係のみを含むマインドマップ表現は、信頼性の高いタスク実行と監視を可能にするか？
• RQ4 古典的計画法と視覚的認識の統合は、タスクの強度と障害からの回復をどの程度向上させるか？
• RQ5 学習された視覚的探索方策は、実世界のタスク実行においてランダム探索に比べてどの程度のパフォーマンス向上を達成するか？

主な発見

• 訓練された視覚的探索方策は、平均19ステップでターゲット対象物の探索に88.47%の成功率を達成したが、ランダム探索ではわずか2.97%にとどまった。
• 視覚的探索方策は、周囲をスキャンする前に、ターゲット対象物の予想される高さを優先して注視するよう学習しており、効果的な探索戦略の習得が示された。
• 位置特定と操作行動は、グリッピングに比べて高い回復成功率を示したが、グリッピングは失敗確率が高いため、依然として最も困難な課題のままであった。
• 物体検出の失敗が視覚的探索の失敗の主な原因であったため、実環境での展開において堅牢な認識能力の重要性が浮き彫りになった。
• 本システムは、各タスクタイプ（対象物収集および収納）について35回の実行を成功裏に完了し、実環境での自律的実行を実証した。
• 障害確率のヒストグラムから、グリッピングや位置特定のような複雑な行動は高い障害率を示した一方で、パス（通過）のような単純な行動は、人間の適応性のおかげで低い障害率を示した。