[論文レビュー] Inverse Reinforcement Learning in Large State Spaces via Function Approximation

Kun Li, Joel W. Burdick|arXiv (Cornell University)|Jul 28, 2017

Reinforcement Learning in Robotics参考文献 19被引用数 4

ひとこと要約

本稿では、大規模な状態空間における逆強化学習のための関数近似手法を提案する。この手法は、反復的価値反復を回避することで計算コストの高い強化学習ステップを回避し、状行動集合のサイズに対して線形時間計算量を達成する。従来手法に比べて高い精度とスケーラビリティを達成し、脊髄損傷患者に対する刺激下での高次元臨床運動データへも成功して拡張可能である。

ABSTRACT

This paper introduces a new method for inverse reinforcement learning in large-scale and high-dimensional state spaces. To avoid solving the computationally expensive reinforcement learning problems in reward learning, we propose a function approximation method to ensure that the Bellman Optimality Equation always holds, and then estimate a function to maximize the likelihood of the observed motion. The time complexity of the proposed method is linearly proportional to the cardinality of the action set, thus it can handle large state spaces efficiently. We test the proposed method in a simulated environment, and show that it is more accurate than existing methods and significantly better in scalability. We also show that the proposed method can extend many existing methods to high-dimensional state spaces. We then apply the method to evaluating the effect of rehabilitative stimulations on patients with spinal cord injuries based on the observed patient motions.

研究の動機と目的

• 従来の逆強化学習（IRL）手法が大規模または高次元の状態空間においてスケーラビリティに制限を受ける問題に対処すること。
• 各IRL反復において強化学習問題を解く必要を回避する関数近似フレームワークの開発により、計算コストを低減すること。
• 脊髄刺激下の患者の運動など、高次元環境における観測された運動軌道から正確な報酬関数推定を可能とすること。
• 提案された関数近似アプローチを活用して、従来のIRL手法を高次元状態空間に拡張すること。
• 実臨床データから学習した報酬関数を用いて、リハビリテーション的刺激が患者の運動好みに与える影響を評価すること。

提案手法

• この手法は、関数近似を通じてベルマン最適性方程式を直接強制することで、繰り返し価値反復を必要とせず、一貫性を保証する。
• 報酬関数は、3層の隠れ層（[100, 50, 25]ノード）を持つニューラルネットワークを用いて、状態-行動特徴（位置と速度の方向）から近似する。
• 観測された軌道の尤度最大化を通じて報酬関数を学習し、学習率0.00001で10,000イテレーションにわたり最適化を実行する。
• 遷移モデルが既知であると仮定することで、ベルマンバックアップを解くことなく、報酬から最適価値関数への直接的なマッピングが可能となる。
• 各状態は100×100グリッド上の位置と速度ベクトルを表すように、患者のCOP軌道を離散化して適用する。
• 観測された運動シーケンスを最もよく説明する報酬関数を推定するために、最尤推定の目的関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 各反復で計算コストの高い強化学習問題を解かずに、大規模な状態空間における逆強化学習をスケーリングできるか？
• RQ2 関数近似手法は、高次元状態空間における観測された運動軌道から真の報酬関数をどれほど正確に回復できるか？
• RQ3 経皮的脊髄刺激が、学習した報酬関数から推定される患者の運動好みに、どの程度の影響を与えるか？
• RQ4 提案手法は、患者のCOP軌道のような高次元臨床運動データに、既存のIRLアルゴリズムを拡張できるか？
• RQ5 本手法は、シミュレートされたデータおよび実世界の運動データにおいて、従来のIRL手法と比較して精度とスケーラビリティの点で優れているか？

主な発見

• 提案手法は、従来のIRL手法に比べて顕著に高い精度を達成し、刺激下の患者1の後退運動において、回復された報酬と理想報酬の間の相関係数が-0.999993に達した。
• 患者6では、刺激下の右上方向運動において、報酬相関が0.740827に達し、臨床医が指示した運動好みと強い整合性を示した。
• 訓練時間は、GPやカーネルベースの手法で数週間かかっていたのを、1回の実行で約1分に短縮し、臨床データへの実用的導入を可能にした。
• フレームワークは、80,000状態のMDP（8つの行動、100×100の空間離散化）を扱える高次元状態空間へのIRLの拡張に成功した。
• 結果として、刺激が方向によって異なる影響を与えることが示された—例えば、患者3では右上方向で性能向上が見られ、患者1では後退方向で性能低下が確認された。
• 6名の患者にわたる実験で、刺激なしおよび刺激ありの両条件において、報酬関数の回復において一貫した性能を示した。