[論文レビュー] Learning Awareness Models

Brandon Amos, Laurent Dinh+8 more|arXiv (Cornell University)|Apr 17, 2018

Anomaly Detection Techniques and Applications参考文献 36被引用数 13

ひとこと要約

本論文では、外部の物体がエージェントの体に与える影響を通じて、内部の本体感覚信号のみから動的ボディモデルを学習する手法を提案する。直接的な世界観測がなくても、モデルは持続的で包括的な物体表現を学習し、シミュレーションおよび実際のロボットハンドの両方で物体の性質の予測や制御方策の実行を可能にする。

ABSTRACT

We consider the setting of an agent with a fixed body interacting with an unknown and uncertain external world. We show that models trained to predict proprioceptive information about the agent's body come to represent objects in the external world. In spite of being trained with only internally available signals, these dynamic body models come to represent external objects through the necessity of predicting their effects on the agent's own body. That is, the model learns holistic persistent representations of objects in the world, even though the only training signals are body signals. Our dynamics model is able to successfully predict distributions over 132 sensor readings over 100 steps into the future and we demonstrate that even when the body is no longer in contact with an object, the latent variables of the dynamics model continue to represent its shape. We show that active data collection by maximizing the entropy of predictions about the body---touch sensors, proprioception and vestibular information---leads to learning of dynamic models that show superior performance when used for control. We also collect data from a real robotic hand and show that the same models can be used to answer questions about properties of objects in the real world. Videos with qualitative results of our models are available at https://goo.gl/mZuqAV.

研究の動機と目的

• エージェントが環境の直接的観測なしに、内部の本体感覚信号のみを用いて外部物体を表現するフレームワークを開発すること。
• 予測的ボディ状態モデルが、外部物体の持続的かつ包括的な表現を暗黙的に捉えられるかどうかを調査すること。
• このようなモデルが、物体の性質の推論および制御タスクの計画に用いられることを実証すること。
• シミュレーションおよび実際のロボットプラットフォームの両方でアプローチを検証し、現実世界のダイナミクスへの一般化を示すこと。

提案手法

• シミュレーションおよび現実のロボットハンドから得られる132個の本体感覚センサ読み取り値（関節角度、トルク、接触力、慣性測定値）を用いて、深層予測モデルを学習する。
• 時間的整合性を活用して、100ステップ先のセンサ状態を予測し、物体の性質を推定する。
• 予測エントロピーを最大化することで、積極的なデータ収集を実施し、探索を促進し、モデルの一般化性能を向上させる。
• ダイナミクスモデルから抽出した潜在表現を用いて、形状や方向などの物体の性質を推定する。
• 制御目的を達成するための軌道最適化を潜在空間で行うことで、学習中に見られなかったタスクに対しても計画を可能にする。
• 同じモデルアーキテクチャと学習手順を実際のロボットハンドデータに適用し、現実世界への応用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 本体感覚信号のみで学習されたモデルは、世界の直接的観測なしに、外部物体の持続的かつ包括的な表現を学習できるか？
• RQ2 エージェントが物体に接触していない状態でも、ボディダイナミクスの予測モデルが、形状や方向といった物体の性質をどの程度正確に推定できるか？
• RQ3 予測不確実性に基づく積極的データ収集が、後続の推論および制御タスクにおけるダイナミクスモデルの品質向上に寄与するか？
• RQ4 同じモデルアーキテクチャと学習手順が、シミュレーションから現実世界のロボットプラットフォームへの一般化に成功するか？
• RQ5 ダイナミクスモデルの潜在空間を用いて、物体の方向といった外部物体に関する診断的質問に答えることができるか？

主な発見

• モデルは、ハンドが物体に接触していない場合でさえ、100ステップ先の132個のセンサ読み取り値を高い精度で予測できた。
• ハンドが物体から離れた後も、ダイナミクスモデルの潜在変数が物体の形状や性質を継続的に表現しており、持続的物体認識の実現を示している。
• 予測エントロピーを最大化する積極的データ収集により、制御および推論タスクにおけるモデル性能が顕著に向上した。
• 実際のロボットハンドでは、本体感覚データとモデル特徴量のみを用いて、物体の方向を正確に予測（中央値誤差 < 10°）できた。
• 学習済みモデルを用いた潜在空間上の計画により、学習時に見られなかった目的を達成でき、直接観測のない状況での推論能力を示した。
• ブートストラップ解析の結果、モデル特徴量は原始的なセンサデータよりも顕著に優れており、95%信頼区間が統計的改善を示した。