[論文レビュー] Propagation Networks for Model-Based Control Under Partial Observation

Yunzhu Li, Jiajun Wu+4 more|arXiv (Cornell University)|Sep 28, 2018

Model Reduction and Neural Networks参考文献 34被引用数 11

ひとこと要約

本論文は、シーングラフ内のマルチステップ相互作用経路にわたり信号を伝搬させることで、部分観測環境におけるモデルベース制御を可能にする微分可能で学習可能なダイナミクスモデル、Propagation Networks (PropNet) を提案する。従来の方法が2項間相互作用に限定されているのに対し、PropNet は長距離かつ同時多体ダイナミクスをモデル化し、前方シミュレーションおよび制御タスクにおいて、より優れた性能を発揮し、サンプル効率、精度、未観測シナリオへの一般化能力が向上する。

ABSTRACT

There has been an increasing interest in learning dynamics simulators for model-based control. Compared with off-the-shelf physics engines, a learnable simulator can quickly adapt to unseen objects, scenes, and tasks. However, existing models like interaction networks only work for fully observable systems; they also only consider pairwise interactions within a single time step, both restricting their use in practical systems. We introduce Propagation Networks (PropNet), a differentiable, learnable dynamics model that handles partially observable scenarios and enables instantaneous propagation of signals beyond pairwise interactions. Experiments show that our propagation networks not only outperform current learnable physics engines in forward simulation, but also achieve superior performance on various control tasks. Compared with existing model-free deep reinforcement learning algorithms, model-based control with propagation networks is more accurate, efficient, and generalizable to new, partially observable scenes and tasks.

研究の動機と目的

• 従来の学習可能な物理学シミュレータが2項間相互作用しかモデル化できず、状態の完全観測を要するという制限を克服すること。
• 一部の物体しか見えない部分観測ロボット環境において、正確な前方シミュレーションと制御を可能にすること。
• 即座に、かつ複数ステップにわたって、近隣の物体ペアを越えて物理的影響を伝搬できる微分可能ダイナミクスモデルを開発すること。
• 複雑で接触が豊富なタスクにおけるモデルベース強化学習のサンプル効率、精度、一般化能力を向上させること。
• オンライン適応を通じて物理的属性の不確実性に耐性を持たせ、未観測構成への一般化を実現すること。

提案手法

• 本手法は、物体をノード、相互作用を有向エッジとして表す有向グラフとしてシーンを表現し、構造的な信号伝搬を可能にする。
• マルチステップメッセージパッシング機構を用いて、1ステップの時間内に物理的影響（例：力、速度）をグラフ全体に伝搬させ、長距離および同時相互作用をモデル化する。
• 潜在的ダイナミクス表現上で動作するため、部分観測からの隠れ物体状態の推定が可能となり、部分観測設定に適している。
• 残差接続と共有符号化を用いることで、訓練の安定性と計算効率を向上させる。
• 制御タスクにおける予測された状態とターゲット状態の差を最小化する微分可能損失関数を用いて、エンドツーエンドでダイナミクスを学習する。
• 予測された将来状態をもとに行動選択を導くモデル予測制御（MPC）フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な物理学エンジンは、1ステップの時間内に2項関係を越えた長距離・多体相互作用をモデル化できるか？
• RQ2 限られた観測データで学習したダイナミクスモデルは、新しい部分観測環境にどの程度一般化できるか？
• RQ3 PropNet を用いたモデルベース制御は、サンプル効率、精度、一般化能力において、モデルフリーの深層強化学習を上回るか？
• RQ4 オンラインフィードバックとファインチューニングを通じて、物理的属性の不確実または誤った推定に適応できるか？
• RQ5 ニュートンの振り子、ロープ操作、ボックス押し出しといった複雑で接触が豊富な制御タスクにおいて、部分観測下で PropNet はどの程度の性能を発揮するか？

主な発見

• ニュートンの振り子タスクでは、PropNet は真値の初期角度からの MSE が 3.08 であったのに対し、インタラクションネットワークは 296.66 にとどまり、制御精度の顕著な向上が確認された。
• ロープ操作タスクでは、手動チューニングされた PD コントローラー（MSE 2.50）および DRL よりも優れた性能を示し、ターゲット構成への一致誤差が低かった。
• 物理的属性に 15% のノイズを加えて推定した場合、PropNet の性能は一時的に低下したが、20 ステップにわたる SGD を用いたオンライン適応により回復し、固定属性ベースラインを上回った。
• 部分観測下のボックス押し出しタスクでは、Chamfer Distance で測定したところ、DRL やインタラクションネットワークよりも優れた性能を発揮した。これは、隠れたダイナミクスを明示的にモデル化しているためである。
• 訓練時に固定長 15 のロープのみを用いていたにもかかわらず、新しいロープ長（10〜20）に対しても強く一般化し、良好な性能を維持した。
• すべての評価タスクにおいて、PropNet を用いたモデルベース制御は、最先端のモデルフリー DRL アルゴリズムを上回るサンプル効率と精度を示した。