[論文レビュー] Meta Inverse Reinforcement Learning via Maximum Reward Sharing for Human Motion Analysis

Kun Li, Joel W. Burdick|arXiv (Cornell University)|Oct 7, 2017

Human Pose and Action Recognition参考文献 28被引用数 7

ひとこと要約

本稿では、タスク間でベースライン報酬関数を共有することで、少数の示範から報酬関数を学習するのを向上させるメタ逆強化学習手法を提案する。タスク固有の報酬を共有される示範者固有のベースラインに条件づけた分布としてモデル化し、報酬の一貫性を最大化することで、限られたデータ下でのシミュレートされた経路計画および現実世界の人間の運動分析の両方で、著しく高い正確性が達成される。

ABSTRACT

This work handles the inverse reinforcement learning (IRL) problem where only a small number of demonstrations are available from a demonstrator for each high-dimensional task, insufficient to estimate an accurate reward function. Observing that each demonstrator has an inherent reward for each state and the task-specific behaviors mainly depend on a small number of key states, we propose a meta IRL algorithm that first models the reward function for each task as a distribution conditioned on a baseline reward function shared by all tasks and dependent only on the demonstrator, and then finds the most likely reward function in the distribution that explains the task-specific behaviors. We test the method in a simulated environment on path planning tasks with limited demonstrations, and show that the accuracy of the learned reward function is significantly improved. We also apply the method to analyze the motion of a patient under rehabilitation.

研究の動機と目的

• 高次元のタスクにおいて、1つのタスクあたり少数の示範しか利用できない状況で、正確な報酬関数を学習する課題に対処すること。
• 大規模または高次元の状態空間において、状態カバレッジが疎である問題に直面する伝統的なIRL手法の限界を克服すること。
• 同じ示範者から得られる複数のタスク間で共有される報酬構造を活用し、サンプル効率性と一般化性能を向上させること。
• タスク固有の報酬を共有されるベースライン報酬関数に条件づけたものとしてモデル化するメタ-IRLフレームワークを開発すること。
• 繰り返しの示範が現実的でないリハビリテーション運動分析のような応用分野において、正確な報酬回復を可能にすること。

提案手法

• 各タスクの報酬関数を、示範者に固有の内在的である共有ベースライン報酬関数に条件づけた確率的分布としてモデル化する。
• 最大報酬共有を用いて、共有ベースライン成分の重複を最大化することで、タスク固有の報酬関数を一致させる。
• 状態と速度方向特徴を用いて報酬関数を近似するため、3層の隠れ層（[100, 50, 25]）を持つニューラルネットワークを適用する。
• 訓練中の共有報酬の一貫性を向上させるとともに、ロバスト性を高めるために、最適化目的関数としてHuber損失を採用する。
• 原点からの距離のピーク検出を用いて示範データをセグメンテーションし、報酬学習に適したタスク関連軌道を分離する。
• 状態数80,000、速度方向に基づく8の決定的行動を有するMDPとして運動分析問題を定式化する。

実験結果

リサーチクエスチョン

• RQ1 1つのタスクあたり極めて少ない示範しか利用できない状況で、メタ-IRLアプローチが報酬関数学習を改善できるか？
• RQ2 同じ示範者から得られる複数のタスク間で、最大報酬共有がタスク固有の報酬関数をどれほど効果的に一致させられるか？
• RQ3 共有ベースライン関数に条件づけたタスク固有の報酬をモデル化することで、標準的なIRLと比較して一般化性能と正確性が向上するか？
• RQ4 本手法は、示範が疎な現実世界の人間の運動データにおいて、意味のある報酬構造を回復できるか？
• RQ5 少サンプル設定において、最もロバストで正確な報酬回復を達成する損失関数（例：Huber、MSE）はどれか？

主な発見

• Huber損失関数は、他の損失関数と比較して共有報酬の一貫性を最大にする点で優れており、報酬回復の正確性が最も高かった。
• シミュレートされた経路計画において、本手法は少数の示範しか利用できない状況下でも、学習された報酬関数の正確性を著しく向上させた。
• 患者の運動分析において、理想報酬と回復された報酬の相関係数は、異なる方向と患者間で-0.3856から0.4902の範囲に分布しており、意図された運動好みの回復が測定可能であることを示している。
• 患者1では、刺激なし条件下で相関係数0.49016、刺激あり条件下で0.486723を示しており、意図された運動目標と強い一致を示している。
• 本手法は、人間の運動における方向的好みを効果的に捉えており、患者4の刺激なしセッションでは、左上方向で0.386421、右上方向で0.410212の相関係数を示した。
• 本手法はリハビリテーション分野において実用的価値を示しており、患者の反応パターンに基づいて刺激信号の設計を支援する回復された報酬構造を提供できる。