[論文レビュー] Combining learned and analytical models for predicting action effects.

Alina Kloss, Stefan Schaal+1 more|arXiv (Cornell University)|Oct 11, 2017

Reinforcement Learning in Robotics参考文献 13被引用数 55

ひとこと要約

この論文は、センサリィ表現のためのニューラルネットワークと物理ベースの解析的モデルを組み合わせたハイブリッドモデルを提案する。学習された認識によって生のセンサデータを解析的動力学モデルに供給することで、純粋に学習されたモデルよりも高い精度とより優れた一般化性能を達成しつつ、真値入力を使用する解析的モデルと同等の性能を発揮する。

ABSTRACT

One of the most basic skills a robot should possess is predicting the effect of physical interactions with objects in the environment. This enables optimal action selection to reach a certain goal state. Traditionally, these dynamics are described by physics-based analytical models, which may however be very hard to find for complex problems. More recently, we have seen learning approaches that can predict the effect of more complex physical interactions directly from sensory input. However, it is an open question how far these models generalize beyond their training data. In this work, we analyse how analytical and learned models can be combined to leverage the best of both worlds. As physical interaction task, we use planar pushing, for which there exists a well-known analytical model and a large real-world dataset. We propose to use a neural network to convert the raw sensory data into a suitable representation that can be consumed by the analytical model and compare this approach to using neural networks for both, perception and prediction. Our results show that the combined method outperforms the purely learned version in terms of accuracy and generalization to push actions not seen during training. It also performs comparable to the analytical model applied on ground truth input values, despite using raw sensory data as input.

研究の動機と目的

• 複雑な物理的相互作用における、学習データを越えて一般化する行動効果予測の課題に取り組む。
• データ駆動型学習と物理ベースの解析的モデルの長所を組み合わせ、より高いロバスト性と精度を実現する。
• 学習された認識が、生のセンサ入力を使って解析的動力学モデルと効果的にインターフェースできるかを調査する。
• 訓練データに含まれない未観測のプッシュ行動に対して、ハイブリッドモデルの一般化性能を評価する。

提案手法

• 生のセンサ入力（画像や観測値など）を、既知の平面プッシュ動力学モデルに適した表現にマップするためのニューラルネットワークを訓練する。
• 解析的モデルは、ネットワークの出力を入力として受け取り、物体の変位などのプッシュ行動の結果を予測する。
• ハイブリッドアーキテクチャはエンドツーエンドで訓練され、ネットワークが解析的モデルの仮定と整合する関連特徴を生データから抽出するように学習する。
• 解析フレームワークを用いない、生の入力を直接行動結果にマップする純粋に学習されたモデルと、本手法を比較する。
• 解析的モデルの解釈可能性と一般化性能を活用するとともに、ディープラーニングの表現力の恩恵を受ける。
• 使用される解析的モデルは、確立された平面プッシュ動力学に基づいており、性能比較のための信頼性の高いベンチマークを提供する。

実験結果

リサーチクエスチョン

• RQ1 学習された認識ヘッドは、生のセンサデータからの行動効果を予測するために、物理ベースの解析的モデルと効果的にインターフェースできるか？
• RQ2 未観測のプッシュ行動に対して、ハイブリッドモデルの一般化性能は純粋に学習されたモデルと比べてどの程度優れているか？
• RQ3 真値入力を使用する場合、ハイブリッドモデルは解析的モデルの性能にどの程度近づけるか？
• RQ4 学習と解析を組み合わせることで、物理的相互作用予測における精度とロバスト性が向上するか？

主な発見

• ハイブリッドモデルは、未観測のプッシュ行動における予測精度において、純粋に学習されたモデルを上回る。
• 訓練データに含まれないプッシュ行動に対して、ハイブリッドモデルは純粋に学習されたモデルよりも顕著に優れた一般化性能を示す。
• 真値入力を使用する場合、生のセンサデータを入力として使用しているにもかかわらず、ハイブリッドモデルは解析的モデルと同等の性能を達成する。
• 解析的モデルに適した表現を抽出するためにニューラルネットワークを用いることで、視覚入力を物理的に意味のある空間に効果的に変換できる。
• 結果から、学習と解析を組み合わせることで、単独で用いる場合よりもよりロバストで一般化可能な予測システムが実現できることが示された。