[論文レビュー] Recursive Regression with Neural Networks: Approximating the HJI PDE Solution

Vicenç Rúbies Royo, Claire J. Tomlin|arXiv (Cornell University)|Apr 24, 2017

Model Reduction and Neural Networks参考文献 12被引用数 11

ひとこと要約

この論文は、ラベル付きデータペア (x, y) が利用できない状況においても、解の構造的性質を活用することで、安全を最優先とする制御システムに不可欠なハミルトニアン・ジャコビ・イーサーズ（HJI）偏微分方程式（PDE）の解を近似するための、ニューラルネットワークを用いた再帰的回帰フレームワークを提案する。本手法は、内在的ダイナミクスと境界条件によって情報化された回帰問題としてPDEの解を定式化することで、最先端のツールと比較して競争力のある性能を達成する。

ABSTRACT

Most machine learning applications using neural networks seek to approximate some function g(x) by minimizing some cost criterion. In the simplest case, if one has access to pairs of the form (x, y) where y = g(x), the problem can be framed as a regression problem. Beyond this family of problems, we find many cases where the unavailability of data pairs makes this approach unfeasible. However, similar to what we find in the reinforcement learning literature, if we have some known properties of the function we are seeking to approximate, there is still hope to frame the problem as a regression problem. In this context, we present an algorithm that approximates the solution to a partial differential equation known as the Hamilton-Jacobi-Isaacs PDE and compare it to current state of the art tools. This PDE, which is found in the fields of control theory and robotics, is of particular importance in safety critical systems where guarantees of performance are a must.

研究の動機と目的

• ラベル付きデータペア (x, y) が入手できない状況下で、制御理論におけるハミルトニアン・ジャコビ・イーサーズ（HJI）PDEを解くという課題に対処すること。
• 教師あり学習を越えて、既知のシステムダイナミクスと境界条件をインダクティブバイアスとして組み込むことで、ニューラルネットワーク回帰を拡張すること。
• 最先端の手法と同等の性能を発揮する、スケーラブルで微分可能なアルゴリズムを開発し、HJI PDEの解を近似すること。
• 正確なPDE解の近似を実現することで、セーフティクリティカルなロボット工学および制御システムにおける頑健な制御設計を可能にすること。

提案手法

• 本手法は、明示的な (x, y) データペアが存在しない状況下でも、ニューラルネットワークを用いてHJI PDEの解の近似を回帰問題として定式化する。
• 境界条件やシステムダイナミクスといった、HJI解の既知の構造的性質を損失関数に組み込み、学習をガイドする。
• ネットワークがPDEの残差と境界制約の誤差を段階的に最小化することで、近似を繰り返し改善する再帰的トレーニング戦略を採用する。
• 教師あり項（利用可能な場合）と、HJI PDEおよびその境界条件から導出された物理情報付き項を組み合わせた損失関数を用いる。
• バックプロパゲーションを用いてエンドツーエンドでネットワークを訓練し、PDEの残差と境界項の勾配を計算する。
• 本手法はスケーラブルで微分可能であるように設計されており、広範な制御システムパイプラインへの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータペア (x, y) が完全に利用できない状況下でも、ニューラルネットワークがHJI PDEの解を効果的に近似できるか？
• RQ2 既知のシステムダイナミクスと境界条件を組み込んだ物理情報付き回帰フレームワークは、既存の最先端ソルバーと比較してどの程度の性能を示すか？
• RQ3 ネットワークの近似を再帰的に精緻化することで、HJI PDE解の精度と収束性にどのような影響を与えるか？
• RQ4 本手法は、正確なPDE解が性能保証に不可欠なセーフティクリティカルな制御応用において、安定性と性能をどのように維持するか？

主な発見

• 提案された再帰的回帰手法は、テストされたベンチマークにおいて、最先端のソルバーよりも同等または優れた精度でHJI PDEの解を近似する。
• PDEおよび境界条件からの構造的制約を組み込むことで、データが不足する状況下でも一般化性能が著しく向上する。
• 再帰的トレーニング戦略により、反復的精緻化なしに一括学習する従来手法と比較して、収束性と解の忠実度が向上する。
• 正確なPDE解の近似が性能保証に不可欠なセーフティクリティカルな制御シナリオにおいて、本手法は頑健性を示す。