[論文レビュー] Deep Predictive Learning: Motion Learning Concept inspired by Cognitive Robotics

Kanata Suzuki, Hiroshi Ito+3 more|arXiv (Cornell University)|Jun 26, 2023

Robot Manipulation and Learning被引用数 6

ひとこと要約

本論文では、認知神経科学にインspiredされたロボティクスフレームワーク「Deep Predictive Learning」を提案する。このフレームワークは、予測されたセンサモータリ結果と実際の結果の間の予測誤差を最小化することで、ロボットが運動制御を学習可能にする。予測コーディングとリアルタイム誤差補正を統合することにより、たとえばタオルのたたみ、結び目、ジッパーの開閉といった学習済みでないタスクに対しても一般化可能であり、視覚、タッチ、注目メカニズムを統合したエンドツーエンド学習により、明示的な環境モデリングを必要とせずに、頑健で適応的な行動を達成する。

ABSTRACT

Bridging the gap between motion models and reality is crucial by using limited data to deploy robots in the real world. Deep learning is expected to be generalized to diverse situations while reducing feature design costs through end-to-end learning for environmental recognition and motion generation. However, data collection for model training is costly, and time and human resources are essential for robot trial-and-error with physical contact. We propose "Deep Predictive Learning," a motion learning concept that predicts the robot's sensorimotor dynamics, assuming imperfections in the prediction model. The predictive coding theory inspires this concept to solve the above problems. It is based on the fundamental strategy of predicting the near-future sensorimotor states of robots and online minimization of the prediction error between the real world and the model. Based on the acquired sensor information, the robot can adjust its behavior in real time, thereby tolerating the difference between the learning experience and reality. Additionally, the robot was expected to perform a wide range of tasks by combining the motion dynamics embedded in the model. This paper describes the proposed concept, its implementation, and examples of its applications in real robots. The code and documents are available at: https://ogata-lab.github.io/eipl-docs

研究の動機と目的

• 従来のモデルベースのアプローチが不完全な予測により失敗する、構造のない現実世界の環境におけるロボット操作の課題に対処すること。
• 手動による特徴量設計や大量の事前ラベル付きデータセットへの依存を減らし、センサモータリデータからのエンドツーエンド学習による運動ポリシーの学習を可能にすること。
• 誤差駆動型の予測学習を通じて、変形可能な物体（例：布、紐）を含むロボット操作タスクにおける一般化性と適応性を向上させること。
• 認知ロボティクスの原則（特にフリーエナジー原理）と実用的なロボット制御システムの間のギャップを埋めること。
• 予測誤差に基づいて動的に予測モデルを切り替えることで、タスク実行中のリアルタイム適応を可能にすること。

提案手法

• 本手法はフリーエナジー原理と予測コーディングに根ざしており、ロボットが将来の内部モデルと実際の感覚フィードバックとの間の予測誤差を最小化する。
• 深層ニューラルネットワークがマルチモーダル入力（画像、タッチデータ、プロ prioception）を処理し、近い将来の状態を予測し、その予測誤差を低減する運動を生成する。
• システムは注目メカニズムを用いて、タスク実行中に顕著な特徴（例：ジッパーの位置、物体の向き）に注目することで、照明や物体配置の変化に対しても耐性を高める。
• 複数の予測モデルがリアルタイムの予測誤差に基づいて動的に切り替えられ、予期しない環境変化への適応的応答を可能にする。
• 運動生成は、モデル内に学習されたダイナミクスを組み合わせることで実現され、複雑なタスクの階層的で統合的な制御が可能になる。
• 言語記述（例：PDDLに類似した表現）のためのフレームワークが、言語条件付きタスク実行を可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的な環境モデリングを必要とせずに、変形可能な物体を含む複雑な操作タスクをロボットがどのように学習できるか。
• RQ2 センサモータリデータからのエンドツーエンド学習のみを用いて、新しい物体形状や配置にどの程度一般化できるか。
• RQ3 リアルタイムの予測誤差最小化が、物理的ロボットインタラクションにおける頑健性と適応性を向上させられるか。
• RQ4 注目メカニズムとマルチモーダル感覚フィードバックを統合することで、予測精度とタスクパフォーマンスがどのように向上するか。
• RQ5 認知神経科学における予測コーディングの原則が、スケーラブルなロボティクス学習フレームワークに効果的に適用可能か。

主な発見

• ロボットは画像と運動データのみを用いて、複数のタオルのたたみを学習し、明示的なモデリングを経ずに物体のばらつきやずれに対しても一般化した。
• 注目メカニズムを介してキーフィーチャーに注目することで、色や形状が異なる布のバッグのジッパーを開くタスクにおいても、視覚的・照明的変動に強く、頑健な性能を発揮した。
• タッチセンサデータの統合により、結び目やボタンを通すといった複雑な操作タスクにおける予測精度とタスク成功確率が顕著に向上した。
• リアルタイム誤差に基づいて予測モデルを切り替えることで、システムは動的適応を示し、予期しない環境変化に対しても効果的な対応を可能にした。
• 単一の統合的モデルアーキテクチャを用いて、タオルのたたみ、結び目、バッグのジッパー開閉といった多様なタスクに一般化を達成した。
• 機能的分離や興奮性・抑制性の不均衡を模倣した神経発達障害のシミュレーションが、行動異常を再現し、モデルの認知的妥当性を検証した。