[論文レビュー] Quantifying Differences in Reward Functions

Adam Gleave, Michael D. Dennis+3 more|arXiv (Cornell University)|Jun 24, 2020

Reinforcement Learning in Robotics参考文献 19被引用数 10

ひとこと要約

この論文は、ポリシーの訓練を経ずに報酬関数の差を直接定量化するEPIC（同等ポリシー不変比較）を導入する。EPICは報酬を標準化し、カバレッジ分布上での相関を計算することで、報酬関数の差を測定する。EPICはポテンシャルに基づく形状変換や正のスケーリングに対して不変であり、カバレッジ分布の選択に対してロバストであり、動的変化下でも最適ポリシーの後悔を抑え込む。ポリシーに基づく評価手法を凌駆する。

ABSTRACT

For many tasks, the reward function is inaccessible to introspection or too complex to be specified procedurally, and must instead be learned from user data. Prior work has evaluated learned reward functions by evaluating policies optimized for the learned reward. However, this method cannot distinguish between the learned reward function failing to reflect user preferences and the policy optimization process failing to optimize the learned reward. Moreover, this method can only tell us about behavior in the evaluation environment, but the reward may incentivize very different behavior in even a slightly different deployment environment. To address these problems, we introduce the Equivalent-Policy Invariant Comparison (EPIC) distance to quantify the difference between two reward functions directly, without a policy optimization step. We prove EPIC is invariant on an equivalence class of reward functions that always induce the same optimal policy. Furthermore, we find EPIC can be efficiently approximated and is more robust than baselines to the choice of coverage distribution. Finally, we show that EPIC distance bounds the regret of optimal policies even under different transition dynamics, and we confirm empirically that it predicts policy training success. Our source code is available at https://github.com/HumanCompatibleAI/evaluating-rewards.

研究の動機と目的

• ポリシーのロールアウトに基づく評価の限界に対処する。これは報酬の不適合と最適化の失敗を混同し、新しい環境への一般化が欠如している。
• ポテンシャルに基づく形状変換や正のスケーリングに対して不変である報酬距離メトリクスを開発し、同等の報酬関数間での一貫した比較を保証する。
• ポリシー最適化を一切行わず、報酬そのもののみを用いて、計算的に効率的でロバストかつ予測可能な学習報酬関数の評価手法を構築する。
• EPIC距離が小さいと、動的変化下でも最適ポリシーの後悔が小さくなるという理論的境界を確立する。

提案手法

• EPICは、カバレッジ分布𝒟上での標準化報酬関数間の相関を計算することで、報酬関数の差を測定する。これにより、潜在的ベースの形状変換が除去され、正のスケーリングが正規化される。
• 標準化には、遷移分布上での平均報酬を差し引き、状態依存バイアスを除去することで不変性を確保する。
• カバレッジ分布𝒟は、無情報的事前分布（例：ランダムロールアウト）から得られ、現実的な遷移に広範なサポートを提供する。
• EPICは、カバレッジ分布からの遷移に対してモンテカルロサンプリングを用いることで、スケーラブルに近似可能である。
• 理論的分析により、EPICが擬距離関数であり、ポテンシャル形状変換および正のスケーリングに対して不変であることが証明され、報酬距離メトリクスの望ましい性質を満たす。
• EPICの理論的後悔境界（定理4.3）は、EPIC距離が0に近づくにつれて、二つの報酬関数下での最適ポリシー間の性能差が消滅することを示しており、異なる動的条件下でも成立する。

実験結果

リサーチクエスチョン

• RQ1 ポリシーの訓練を経ずに、報酬品質と最適化の失敗を分離して学習報酬関数を評価できるか？
• RQ2 ポテンシャル形状変換や正のスケーリングに対して不変であり、同等の報酬関数間の比較を一貫して行える報酬距離メトリクスは存在するか？
• RQ3 計算的に効率的で、カバレッジ分布の選択に対してロバストな報酬距離メトリクスは実現可能か？
• RQ4 動的変化下でも、学習報酬関数と真の報酬関数とのEPIC距離が小さい場合、最適ポリシーにおける後悔が低くなると予測できるか？

主な発見

• EPICは、ポリシー最適化を要せず、報酬関数の差を直接定量化する最初の手法であり、報酬品質と最適化の失敗を分離可能である。
• EPICはポテンシャル形状変換および正のスケーリングに対して不変であり、同じ最適ポリシーを誘導する報酬関数間の比較を一貫して保証する。
• EPICはカバレッジ分布の選択に対してロバストであり、多様な分布において安定した結果を生み出す。これに対して、NPEC や ERC といったベースライン手法は同様の安定性を欠く。
• 実験的結果により、EPIC距離が小さいと、遷移の動的変化下でも最適ポリシーにおける後悔が低くなることが確認され、理論的後悔境界の妥当性が裏付けられた。
• EPICはモンテカルロサンプリングを用いることで、スケーラブルな近似が可能であり、実用的な学習報酬関数の評価に適している。
• 理論的分析により、EPIC距離が0に近づくにつれて、二つの報酬関数下での最適ポリシー間の性能差が消滅することが示され、EPICの予測能力が裏付けられた。