[論文レビュー] Active Inverse Reward Design

Sören Mindermann, Rohin Shah+2 more|arXiv (Cornell University)|Sep 9, 2018

Reinforcement Learning in Robotics参考文献 23被引用数 7

ひとこと要約

この論文では、最終的なプロキシ報酬に依存するのではなく、情報量の多いクエリ（劣化した報酬関数どうしの比較）を能動的に選択することで報酬推定を向上させる、アクティブ逆報酬設計（AIRD）を提案する。各設計者の選択後に逆報酬設計（IRD）を用いて信念を更新することで、クエリに解釈可能な線形特徴が使われても非線形の真の報酬を推定でき、通常のIRDと比較してテスト環境における後悔を顕著に低減する。

ABSTRACT

Designers of AI agents often iterate on the reward function in a trial-and-error process until they get the desired behavior, but this only guarantees good behavior in the training environment. We propose structuring this process as a series of queries asking the user to compare between different reward functions. Thus we can actively select queries for maximum informativeness about the true reward. In contrast to approaches asking the designer for optimal behavior, this allows us to gather additional information by eliciting preferences between suboptimal behaviors. After each query, we need to update the posterior over the true reward function from observing the proxy reward function chosen by the designer. The recently proposed Inverse Reward Design (IRD) enables this. Our approach substantially outperforms IRD in test environments. In particular, it can query the designer about interpretable, linear reward functions and still infer non-linear ones.

研究の動機と目的

• 逆報酬設計（IRD）が最終的なプロキシ報酬のみを用いるため、劣化した行動に関する好みを推定できないという限界を解消すること。
• 順序的な意思決定において、報酬設計プロセスを能動的クエリの系列として構造化することで報酬推定を改善すること。
• 解釈可能な線形報酬特徴に対するクエリを用いて、非線形の真の報酬関数を推定できること。
• 能動的クエリ選択により、通常のIRDよりも情報量の多いフィードバックを収集することで、テスト時の後悔を低減すること。
• 人間モデルの好みを模擬した環境で手法を評価し、IRDを上回る性能を示すこと。

提案手法

• AIRDは報酬設計を、設計者に少数の候補報酬関数を提示して比較させるクエリの系列として構造化する。
• 各設計者の選択後に逆報酬設計（IRD）を用いて真の報酬関数に関する事後分布を更新する。
• クエリはベイジアン能動学習のアプローチを用いて、真の報酬に関する情報量を最大化するように能動的に選択される。
• 2種類のクエリタイプを導入する：離散クエリ（N個の報酬関数を比較）と特徴クエリ（他の特徴の重みを固定した上で、特定の特徴の重みをユーザーに設定してもらう）。
• 特徴クエリは報酬空間の構造を活用し、軌道の直接評価を必要とせずに低レベルの報酬好みを推定可能である。
• クエリ設計を最適化することで情報量の増加を実現し、単純な高レベル特徴の比較から、複雑な非線形報酬関数を推定可能となる。

実験結果

リサーチクエスチョン

• RQ1 最終的なプロキシ報酬に依存するのではなく、報酬関数の比較を能動的に選択することで、より優れた報酬推定が可能になるか？
• RQ2 最適でない報酬の比較から、最適行動のみから得られる情報とは異なる真の報酬に関する情報を得られるか？
• RQ3 解釈可能な線形特徴クエリを用いて、複雑な環境で非線形報酬関数を推定できるか？
• RQ4 能動的クエリ選択により、通常のIRDと比較してテスト時の後悔が低減するか？
• RQ5 特徴クエリは使いやすさを維持しながら、低レベルの報酬好みを効率的に推定可能か？

主な発見

• AIRDは通常のIRDと比較して、テスト時の後悔を顕著に低減し、多くの場合真の報酬関数を完全に回復する。
• 劣化した報酬間の好みをクエリすることで、最終的なプロキシ報酬が捉えられない特徴（例：赤い目フライトペナルティ）に関する好みを推定可能となる。
• クエリに解釈可能な線形報酬特徴が使われても、AIRDは非線形の真の報酬関数を成功裏に推定する。
• 特徴クエリにより、ユーザーは軌道の評価を経ずに高レベルの報酬重みを調整可能となり、使いやすさとスケーラビリティが向上する。
• 人間モデルを模擬した環境において、AIRDはフライトショッピングおよび2次元ナビゲーションの両ドメインでIRDを上回る性能を示す。
• 能動的クエリ選択により、最終報酬選択の受動的観察よりも、より効率的かつ情報量の多いフィードバックが得られる。