[論文レビュー] A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning

Kun Li, Joel W. Burdick|arXiv (Cornell University)|Aug 23, 2017

Reinforcement Learning in Robotics参考文献 21被引用数 6

ひとこと要約

本論文は、モデルベースの高次元逆強化学習における関数近似手法を提案し、ベルマン最適性方程式を満たすことを保証することで、大規模または連続的状態空間において効率的な学習を可能にする。反復的な強化学習のステップを伴わず、最適価値関数および報酬関数を近似することで、行動集合のサイズに比例する線形時間計算量を達成し、シミュレートおよび臨床的外科ロボット評価タスクにおいて高い精度を示した。

ABSTRACT

This works handles the inverse reinforcement learning problem in high-dimensional state spaces, which relies on an efficient solution of model-based high-dimensional reinforcement learning problems. To solve the computationally expensive reinforcement learning problems, we propose a function approximation method to ensure that the Bellman Optimality Equation always holds, and then estimate a function based on the observed human actions for inverse reinforcement learning problems. The time complexity of the proposed method is linearly proportional to the cardinality of the action set, thus it can handle high-dimensional even continuous state spaces efficiently. We test the proposed method in a simulated environment to show its accuracy, and three clinical tasks to show how it can be used to evaluate a doctor's proficiency.

研究の動機と目的

• 従来の手法が計算的に非現実的になる高次元状態空間における逆強化学習の課題に対処すること。
• 報酬推定イテレーションごとに高コストな強化学習ステップを回避するスケーラブルな解決策を開発すること。
• ベルマン最適性方程式を保持しつつ、関数近似を用いて報酬関数および価値関数の効率的学習を可能にすること。
• 外科ロボットのオペレーター評価などの実世界の臨床タスクに適用し、外科医の熟練度を評価すること。
• モデルベースの遷移ダイナミクスと関数近似を活用することで、連続的および高次元状態空間への逆強化学習の適用性を拡張すること。

提案手法

• 反復的な強化学習を経ずに、最適価値関数および報酬関数を直接学習する関数近似フレームワークを提案すること。
• 最適性条件に従うように関数近似を制約することで、ベルマン最適性方程式が常に満たされるようにすること。
• 観測された人間の行動に基づいて、ニューラルネットワークを用いて価値関数および報酬関数を近似すること。
• 行動集合の基数に比例する線形時間計算量を維持することで、高次元および連続的状態空間へのスケーラビリティを確保すること。
• 物理法則に基づく既知の遷移ダイナミクスを活用して遷移モデルの学習を回避し、計算オーバーヘッドを低減すること。
• 観測された行動を用いてエンドツーエンドにモデルを訓練し、完全な軌道データが不要な逆強化学習を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 高次元状態空間にスケーリング可能な関数近似手法を設計できるか、かつベルマン最適性方程式を維持できるか？
• RQ2 高次元問題において、提案手法は既存の逆強化学習アプローチと比較して、精度および計算効率の面で優れているか？
• RQ3 提示データのみを用いて、初心者と熟練外科ロボットオペレーターの違いを効果的に区別できるか？
• RQ4 ネットワークアーキテクチャ（深さおよび幅）の変更が、学習された価値関数および報酬関数の精度にどの程度影響を与えるか？
• RQ5 結紮、ニードルパス、スージングなどの実臨床タスクに、意味のある性能評価とともに適用可能か？

主な発見

• 提案手法は、価値関数および報酬関数の両方の学習において高い精度を達成しており、ネットワーク容量が増加するにつれて性能が向上する。
• ネットワークの幅を増加させることで、強化学習および逆強化学習の両タスクでより良い性能が得られ、Q値推定の誤差が低下することが示された。
• 学習された報酬関数は真の報酬と強く相関しており、ネットワーク幅が大きくなるに従い相関係数が上昇し、信頼性の高い報酬回復が可能であることが示された。
• 臨床評価では、初心者と熟練外科オペレーターの性能差を効果的に同定でき、熟練オペレーターは訓練エポックごとに低いテスト誤差を示した。
• 本手法はスケーラビリティおよび効率性を示しており、行動集合サイズに比例する線形時間計算量を達成しており、連続的および高次元状態空間に適している。
• JIGSAWデータセットにおける結果は、訓練エポックに伴いテスト誤差が一貫して低下することを示しており、熟練オペレーターは初心者よりも低い誤差率を達成しており、熟練度評価への適用が妥当であることを検証した。