[論文レビュー] Identifying Reward Functions using Anchor Actions.

Sinong Geng, Houssam Nassif+3 more|arXiv (Cornell University)|Jul 15, 2020

Reinforcement Learning in Robotics参考文献 39被引用数 2

ひとこと要約

本論文は、状態と行動の両方に依存する報酬関数を推定できる新しい逆強化学習フレームワークPQRを提案する。PQRは、『何もしない』などの既知のアンカーアクションを用いて、確率的遷移が存在する状況でも報酬推定を可能にする。遷移が既知の場合、報酬の一意的回復が保証され、遷移が未知の場合には推定誤差の境界が提供される。

ABSTRACT

We propose a reward function estimation framework for inverse reinforcement learning with deep energy-based policies. We name our method PQR, as it sequentially estimates the Policy, the $Q$-function, and the Reward function. PQR does not assume that the reward solely depends on the state, instead it allows for a dependency on the choice of action. Moreover, PQR allows for stochastic state transitions. To accomplish this, we assume the existence of one anchor action whose reward is known, typically the action of doing nothing, yielding no reward. We present both estimators and algorithms for the PQR method. When the environment transition is known, we prove that the PQR reward estimator uniquely recovers the true reward. With unknown transitions, we bound the estimation error of PQR. Finally, the performance of PQR is demonstrated by synthetic and real-world datasets.

研究の動機と目的

• 報酬が状態のみに依存すると仮定する従来の逆強化学習手法の制限を克服し、報酬が状態と行動の両方に依存することを許容すること。
• 現実世界の状況で一般的な確率的状態遷移を持つ環境でも報酬関数の推定を可能にすること。
• 環境の遷移が既知の場合に真の報酬関数を一意に回復できる理論的根拠を持つ手法を提供すること。
• 遷移が未知の場合の報酬関数の推定誤差を境界づけることで、実用的応用におけるロバスト性を確保すること。
• 合成データおよび実世界データを用いた実験を通じて、本手法の有効性を示すこと。

提案手法

• PQRフレームワークは、深層エネルギーに基づくポリシー・モデルを用いて、順次的にポリシー、Q関数、報酬関数を推定する。
• 『何もしない』アクション（通常はアンカーアクションとして機能する）を導入し、その報酬をゼロと仮定することで、報酬推定の基準点を提供する。
• 報酬を状態と行動の両関数としてモデル化することで、より豊かで現実的である報酬構造を可能にする。
• 遷移が既知の場合、PQRの報酬推定器は真の報酬関数を一意に回復することが証明されている。
• 遷移が未知の場合、報酬関数の推定誤差に対して理論的境界を導出している。
• アンカーアクションを活用して報酬関数の学習を安定化・誘導する、共同最適化スキームを採用している。

実験結果

リサーチクエスチョン

• RQ1 逆強化学習において、報酬が状態のみに依存するのではなく、状態と行動の両方に依存する場合に、報酬関数を推定できるか？
• RQ2 環境の遷移が既知の場合に、真の報酬関数の一意的回復をどのように保証できるか？
• RQ3 遷移が未知の場合、報酬関数の推定誤差の境界は何か？
• RQ4 本手法は確率的状態遷移を効果的に処理できるか？
• RQ5 PQRフレームワークは、合成環境および実世界環境において、従来のベースライン手法と比較してどのように性能を発揮するか？

主な発見

• 環境の遷移が既知の場合、PQR手法は真の報酬関数を一意に回復し、理論的正しさを保証する。
• 遷移が未知の場合、報酬関数の推定誤差に対して理論的境界を提供し、信頼性を高める。
• 確率的遷移を持つ環境でも、報酬関数の推定に成功し、ロバストネスを示した。
• 合成データおよび実世界データを用いた実験的評価により、PQRの有効性と一般化能力が確認された。
• アンカーアクション（例：『何もしない』）の使用により、報酬関数の事前知識がなくても、安定的かつ正確な報酬推定が可能になった。
• 状態と行動の両方に依存する複雑な報酬関数を回復する点で、本手法はベースライン手法を上回った。