[論文レビュー] From Pixels to Torques: Policy Learning with Deep Dynamical Models

Niklas Wahlström, Thomas B. Schön+1 more|arXiv (Cornell University)|Feb 8, 2015

Reinforcement Learning in Robotics参考文献 33被引用数 79

ひとこと要約

本論文では、深層ダイニカルモデル（DDM）を用いて、ピクセル観測から直接閉ループ制御方策を学習するデータ効率的でモデルベースの強化学習アルゴリズムを提案する。DDMは、深層オートエンコーダーを介して低次元の画像埋め込みを共同で学習し、潜在空間における予測遷移モデルを学習することで、正確な長期間にわたる軌道予測を可能にする。これらの予測は、適応的モデル予測制御（MPC）によってリアルタイムで最適なトルクを生成するために使用され、わずか15回の試行でほぼ最適な性能を達成した—これは、ピクセルからトルクへのエンドツーエンドの自律的学習への顕著な一歩を示している。

ABSTRACT

Data-efficient learning in continuous state-action spaces using very high-dimensional observations remains a key challenge in developing fully autonomous systems. In this paper, we consider one instance of this challenge, the pixels to torques problem, where an agent must learn a closed-loop control policy from pixel information only. We introduce a data-efficient, model-based reinforcement learning algorithm that learns such a closed-loop policy directly from pixel information. The key ingredient is a deep dynamical model that uses deep auto-encoders to learn a low-dimensional embedding of images jointly with a predictive model in this low-dimensional feature space. Joint learning ensures that not only static but also dynamic properties of the data are accounted for. This is crucial for long-term predictions, which lie at the core of the adaptive model predictive control strategy that we use for closed-loop control. Compared to state-of-the-art reinforcement learning methods for continuous states and actions, our approach learns quickly, scales to high-dimensional state spaces and is an important step toward fully autonomous learning from pixels to torques.

研究の動機と目的

• 高次元のピクセル観測しか入手できない状況下で、連続的状態-行動空間におけるデータ非効率的ポリシー学習の課題に対処すること。
• エンジニアリングされた低次元状態表現に依存せずに、自己学習的に知覚-行動-学習ループを閉じること。
• 生の画像から学習するスケーラブルなモデルベース強化学習フレームワークを構築し、長期間予測を活用した高速で適応的な制御を可能にすること。
• 高コストな試行回数を最小限に抑えることにより、現実世界のロボット制御タスクにおける高いサンプル効率を達成すること。

提案手法

• 深層ダイニカルモデル（DDM）をエンドツーエンドで訓練し、深層オートエンコーダーを介して画像の低次元特徴表現と、潜在空間における予測遷移モデルを同時に学習する。
• エンコーダーは高次元ピクセル入力をコンactな潜在表現（z_t）にマップし、デコーダーは入力画像を再構築することで再構築誤差を最小化する。
• 潜在空間における予測モデルは、マルチレイヤーの順伝播ニューラルネットワークを用いて、長期間にわたる予測誤差を最小化するように訓練される。
• 適応的モデル予測制御（MPC）戦略は、DDMの予測結果を活用して、価値関数推定を一切行わずにオンラインで最適な制御行動（トルク）を計算する。
• 潜在空間が静的データ特性と動的特性の両方を捉えるように、再構築誤差と予測誤差の両方をバランスさせる共同目的関数を用いてDDMを訓練する。
• システムは閉ループで動作する：各試行後、参照画像を含むすべての収集済みデータを用いてDDMを再訓練し、将来の予測精度と制御性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 低次元潜在空間における表現と動的特性の共同学習フレームワークは、生のピクセル入力からのデータ効率的ポリシー学習を可能にするか？
• RQ2 特徴量と予測の両方を共同で学習する深層ダイニカルモデルは、高次元観測空間における長期間予測にどの程度一般化できるか？
• RQ3 このようなDDMに基づくMPCは、価値ベースまたは分離された特徴量-動的特性学習アプローチに比べて、サンプル効率性と制御性能で優れているか？
• RQ4 本手法は、真の状態情報が入手不可であっても、最小限の相互作用試行回数で、連続的ロボット制御タスクにおいてほぼ最適な制御性能を達成できるか？
• RQ5 オートエンコーダーと予測モデルを分離して学習するのと比較して、両者を共同で学習することで、長期予測精度と制御成功確率にどのような影響があるか？

主な発見

• 提案されたDDM+MPC手法は、15回の試行（1,500フレーム分の画像）でほぼ90％の成功率を達成し、振り子制御タスクにおける顕著なデータ効率性を示した。
• 2Dオートエンコーダー特徴量を用いたPILCOは、動的モデリングが不十分であったため失敗したが、DDM+MPCは成功した—これは、表現と動的特性の共同学習の重要性を示している。
• 20D PCA特徴量と2Dオートエンコーダー特徴量を用いたPILCOは両方とも一貫して失敗したのに対し、DDM+MPC手法は成功した—これは、表現と動的特性の最適化を同時に行うことが、長期予測に不可欠であることを示している。
• DDMは潜在空間に円形構造を学習し、これにより動的挙動を単純かつ正確にモデル化可能となった。これは、オートエンコーダーと予測モデルを別々に訓練した場合に得られなかった。
• 本手法は高次元観測に効果的にスケーリングでき、ポリシー実行時の計算オーバーヘッドを最小限に抑えながら、リアルタイムでのオンライン制御を可能にした。
• 真の2D状態（ϕ, ˙ϕ）を用いたPILCOベースラインと同等のほぼ最適な性能を達成したが、これは生のピクセル入力のみに依存し、状態情報は一切使用していない。