[論文レビュー] A General Framework for Structured Learning of Mechanical Systems

Jayesh K. Gupta, Kunal Menda+2 more|arXiv (Cornell University)|Feb 22, 2019

Model Reduction and Neural Networks参考文献 24被引用数 15

ひとこと要約

本論文は、ラグランジアンと一般化力のパrameterizationにニューラルネットワークを用いる、機械的システム向けのグレイボックス学習フレームワークを提案する。これにより、事前知識を構造的に組み込むことでバイアスと分散を低減できる。シミュレーテッド・ダブルペンドulumにおけるモデルベース強化学習において、ナイーブなブラックボックスモデルと比較して、データ効率性と性能が優れていることが示された。

ABSTRACT

Learning accurate dynamics models is necessary for optimal, compliant control of robotic systems. Current approaches to white-box modeling using analytic parameterizations, or black-box modeling using neural networks, can suffer from high bias or high variance. We address the need for a flexible, gray-box model of mechanical systems that can seamlessly incorporate prior knowledge where it is available, and train expressive function approximators where it is not. We propose to parameterize a mechanical system using neural networks to model its Lagrangian and the generalized forces that act on it. We test our method on a simulated, actuated double pendulum. We show that our method outperforms a naive, black-box model in terms of data-efficiency, as well as performance in model-based reinforcement learning. We also conduct a systematic study of our method's ability to incorporate available prior knowledge about the system to improve data efficiency.

研究の動機と目的

• 事前知識とデータ駆動関数近似を組み合わせることで、機械的システムの動的挙動学習におけるバイアス-分散トレードオフを緩和すること。
• ドメイン知識を学習された動的モデルにシームレスに統合できる、柔軟でモジュラーなフレームワークの開発。
• ナチュラルブラックボックスアプローチと比較して、データ効率性とモデルベース強化学習のパフォーマンスを向上させること。
• ラグランジアンと一般化力の構造的パrameterizationを通じて、正確で物理的に整合性のある動的モデルを実現すること。

提案手法

• ニューラルネットワークを用いてシステムのラグランジアンと一般化力をパrameterizationし、微分可能で物理的制約付きの学習を可能にする。
• オイラー＝ラグランジュ方程式を用いて、学習済みラグランジアンと力から加速度を計算し、物理的整合性を保証する。
• 状態と制御の軌道における予測誤差を最小化する勾配ベース最適化によりモデルを学習する。
• 仮説クラスをモジュラー化し、事前知識の選択的適用（例：制御アフィン構造、力の種別）を可能にする。
• 接触が豊富な環境における非滑らかな動的挙動の正確なシミュレーションのため、変分積分法を適用する。
• 軌道最適化（例：DIRCOL）を用いたモデルベース強化学習により、サンプル効率性とポリシー性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 構造的グレイボックスアプローチは、ナチュラルブラックボックスモデルと比較して、データ効率性を向上させることができるか？
• RQ2 システム構造に関する事前知識（例：制御アフィン力、重力のみ）が、ニューラルネットワークベースの動的モデルにどの程度効果的に組み込まれるか？
• RQ3 提案フレームワークは、エンドツーエンドのブラックボックスモデリングと比較して、モデルベース強化学習でより優れたパフォーマンスを達成できるか？
• RQ4 モデルの物理的構造は、制約なし関数近似と比較して、分散をどの程度低減するか？

主な発見

• 制御アフィン力に関する事前知識を組み込んだMVBパラメータライゼーションは、最も少ない環境インタラクション回数でモデルベース強化学習タスクを解決した。
• 事前知識を一切想定しないMVFパラメータライゼーションは、タスクを正常に解決したが、MVBと比較してより多くのインタラクションを要した。これは、構造的モデリングによるサンプル効率性の向上を示している。
• ナチュラルブラックボックスモデルは、状態空間における一般化性の低さと探索の欠如により、制限時間内にタスクを達成できなかった。
• 提案手法は、ラグランジアンと力のパラメータライゼーションに物理的制約を組み込んでいるため、ナチュラルブラックボックス手法と比較してモデルの分散が低かった。
• 事前知識がなくても、本手法はダブルペンドulumにおいて、ナチュラルブラックボックス学習と比較してデータ効率性とモデルベース強化学習のパフォーマンスが優れていた。