[論文レビュー] Spatial Attention Point Network for Deep-learning-based Robust Autonomous Robot Motion Generation

Hideyuki Ichiwara, Hiroshi Ito+3 more|arXiv (Cornell University)|Mar 2, 2021

Robot Manipulation and Learning参考文献 15被引用数 11

ひとこと要約

本論文では、RGB画像内のタスクに重要な空間的注目ポイント（例：ロボットハンドやターゲットオブジェクト）を自動で検出することで、背景、照明、障害物の変化に対して不変であるにもかかわらず、ロバストで一般化可能なロボット運動生成を可能にする空間的注目ポイントネットワーク（SAPN）を提案する。この手法は、CNN-LSTMアーキテクチャに画像再構成を統合することで注目ポイントを安定化させ、わずかな微調整で多様なオブジェクト位置において88%を超える成功率を達成する。

ABSTRACT

Deep learning provides a powerful framework for automated acquisition of complex robotic motions. However, despite a certain degree of generalization, the need for vast amounts of training data depending on the work-object position is an obstacle to industrial applications. Therefore, a robot motion-generation model that can respond to a variety of work-object positions with a small amount of training data is necessary. In this paper, we propose a method robust to changes in object position by automatically extracting spatial attention points in the image for the robot task and generating motions on the basis of their positions. We demonstrate our method with an LBR iiwa 7R1400 robot arm on a picking task and a pick-and-place task at various positions in various situations. In each task, the spatial attention points are obtained for the work objects that are important to the task. Our method is robust to changes in object position. Further, it is robust to changes in background, lighting, and obstacles that are not important to the task because it only focuses on positions that are important to the task.

研究の動機と目的

• 深層学習ベースのロボット運動生成における高いデータ要求を緩和すること、特にオブジェクト位置が変化する状況において。
• すべてのオブジェクト位置に対して膨大なトレーニングデータに依存することを減らし、未学習の位置に対しても一般化できるようにすること。
• タスクに関連する空間的特徴にのみ注目することで、背景のごみ、照明の変化、障害物に対してロバスト性を高めること。
• 最小限のラベル付きデータで、多様な現実世界のシナリオに一般化可能な運動生成モデルを開発すること。

提案手法

• モデルは3段階のアーキテクチャを採用：特徴抽出のためのエンコーダ（CNN）、時系列モデリングのための再帰的モジュール（LSTM）、運動予測のためのデコーダ。
• ネットワーク内の注目メカニズムを用いて、ロボットハンドやターゲットオブジェクトなどのキーロケーションとして空間的注目ポイントを画像内で自動的に同定する。
• 注目ポイント検出の安定化を図るため、運動生成タスクと併せて画像再構成ヘッドを訓練する。
• 実世界のRGB画像と、実際のLBR iiwa 7R1400ロボットから得られた対応するロボット運動軌跡を用いて、エンドツーエンドでネットワークを訓練する。
• 注目メカニズムにより、タスクに関連する領域（例：オブジェクト、ハンド）のみに注目し、関係のない背景や障害物は無視する。
• 絶対的位置に依存しない空間的関係を学習することで、教えられていないオブジェクト位置に対しても一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、最小限のトレーニングデータで、変化するオブジェクト位置においてもロバストなロボット運動を生成できるか？
• RQ2 空間的注目メカニズムは、環境の変化がある状況下でもロボット運動生成の一般化をどのように向上させられるか？
• RQ3 画像再構成を併用することで、空間的注目ポイント検出の安定性と正確性はどの程度向上するか？
• RQ4 トレーニング時に見なかった背景、照明、障害物の変化に対しても、モデルは高いパフォーマンスを維持できるか？
• RQ5 タスク実行中に、モデルの内部LSTM状態はオブジェクトおよびターゲット位置の変化をどのように反映しているか？

主な発見

• テストされたすべての状況、包括して教えられていない位置において、ピッキングタスクで88.5% ± 5.8%のタスク成功率を達成した。
• ピックアンドプレイスタスクでは、状況（ii）で93.5% ± 4.5%、状況（iii）および（iv）でそれぞれ88.0% ± 5.9%の高い成功率を維持し、位置や環境の変化に対して強いロバスト性を示した。
• すべてのシナリオにおいて、ロボットハンドおよびターゲットオブジェクトに空間的注目ポイントが正しく局所化された。特に、教えられていない位置に配置されたオブジェクトに対しても同様に成功した。
• 背景、照明、障害物の変化に対しても、注目ポイントが安定してタスクに関連する領域に留まり、モデルの耐性が確認された。
• 内部LSTM状態がオブジェクトおよびターゲット位置の変化に応じて動的にシフトする様子が観察され、モデルが新しい空間的構成に適応可能であることが裏付けられた。
• 画像再構成を併用することで、多様な入力条件下でも一貫した空間的局所化が実現され、注目ポイントの安定性が顕著に向上した。