[論文レビュー] Large-Scale Inverse Reinforcement Learning via Function Approximation for Clinical Motion Analysis.

Kun Li, Joel W. Burdick|arXiv (Cornell University)|Jul 28, 2017

Muscle activation and electromyography studies被引用数 1

ひとこと要約

本稿では、関数近似を用いた大規模な逆強化学習手法を提案する。この手法はベルマン最適性方程式を維持することで、高次元状態空間における効率的な報酬学習を可能にする。行動集合のサイズに対して線形時間計算量を達成し、既存手法よりも精度とスケーラビリティに優れ、脊髄損傷患者の臨床的運動データを効果的にモデル化する。

ABSTRACT

This paper introduces a new method for inverse reinforcement learning in large-scale and high-dimensional state spaces. To avoid solving the computationally expensive reinforcement learning problems in reward learning, we propose a function approximation method to ensure that the Bellman Optimality Equation always holds, and then estimate a function to maximize the likelihood of the observed motion. The time complexity of the proposed method is linearly proportional to the cardinality of the action set, thus it can handle large state spaces efficiently. We test the proposed method in a simulated environment, and show that it is more accurate than existing methods and significantly better in scalability. We also show that the proposed method can extend many existing methods to high-dimensional state spaces. We then apply the method to evaluating the effect of rehabilitative stimulations on patients with spinal cord injuries based on the observed patient motions.

研究の動機と目的

• 大規模かつ高次元状態空間における従来の逆強化学習の計算不能性に対処する。
• 報酬学習中にベルマン最適性方程式を保持する関数近似技術を開発する。
• 観測された臨床的運動データから報酬関数を効率的かつ正確に推論可能にする。
• 既存の逆強化学習手法を、運動解析で一般的に見られる高次元状態空間に対応可能に拡張する。
• 実際の運動データを用いて、リハビリテーション的刺激が脊髄損傷患者に与える影響を評価する。

提案手法

• 価値関数を関数近似で表現し、状態空間全体にわたりベルマン最適性方程式が満たされるように保証する。
• 観測された運動軌跡上で尤度最大化問題として報酬学習を定式化する。
• 行動集合の濃度に対して線形にスケーリングするアルゴリズムを設計し、計算複雑度を低減する。
• 訓練中に完全な強化学習問題を解く必要を回避するため、関数近似フレームワークを逆強化学習に統合する。
• ベルマン方程式の構造を活用して、報酬推定の整合性と安定性を維持する。
• 検証のため、シミュレーテッド環境および実世界の臨床的運動データセットに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 大規模な逆強化学習において、関数近似を用いてベルマン最適性方程式を維持できるか？
• RQ2 提案手法は、高次元状態空間において、既存の逆強化学習アプローチよりも優れたスケーラビリティを達成できるか？
• RQ3 本手法は、観測された運動データから報酬関数を回復する際、どの程度精度を向上させられるか？
• RQ4 本手法は、脊髄損傷を患う患者の複雑な臨床的運動パターンをモデル化できるか？
• RQ5 本手法は、観測された運動軌跡を用いて、リハビリテーション的刺激の影響をどの程度効果的に評価できるか？

主な発見

• 提案手法は、行動集合のサイズに対して線形時間計算量を達成し、大規模な状態空間における効率的処理を可能にする。
• シミュレーテッド環境において、既存の逆強化学習手法よりも高い精度で報酬関数の回復に成功した。
• スケーラビリティにおいて顕著な改善が見られ、ベースライン手法よりも大規模かつ複雑な状態空間を処理できた。
• フレームワークは、既存の逆強化学習手法を高次元運動データに拡張し、新たな臨床的応用を可能にした。
• 脊髄損傷リハビリテーションにおける患者の運動データに適用した結果、刺激が運動パターンに与える影響について有意義な知見が得られた。