[論文レビュー] 'Indifference' methods for managing agent rewards

Stuart Armstrong, O'Rourke, Xavier|arXiv (Cornell University)|Dec 18, 2017

Reinforcement Learning in Robotics参考文献 15被引用数 5

ひとこと要約

本稿では、POMDPにおけるエージェント報酬の管理のための「無関心（indifference）」手法を紹介している。報酬関数を補正報酬とポリシー調整によって変更することで、エージェントが電源オフや報酬関数の変更といった重要な出来事に対して無関心な状態を保てるようにする。主な貢献は、報酬関数の遷移を滑らかに行い、エージェントの報酬構造が完全に把握されていなくても効果的な無関心状態を実現する形式的フレームワークを提供することである。

ABSTRACT

`Indifference' refers to a class of methods used to control reward based agents. Indifference techniques aim to achieve one or more of three distinct goals: rewards dependent on certain events (without the agent being motivated to manipulate the probability of those events), effective disbelief (where agents behave as if particular events could never happen), and seamless transition from one reward function to another (with the agent acting as if this change is unanticipated). This paper presents several methods for achieving these goals in the POMDP setting, establishing their uses, strengths, and requirements. These methods of control work even when the implications of the agent's reward are otherwise not fully understood.

研究の動機と目的

• エージェントが電源オフや報酬の変更といった重要な環境的出来事の操作を避ける報酬関数の設計の課題に対処すること。
• エージェントが特定の出来事（例：電源オフ）が起こり得ないかのように振る舞うように誘導すること、すなわち効果的な無関心状態を実現すること。
• エージェントが変更を事前に予測できるのを防ぎ、報酬関数の変更に伴う戦略的利点を得ることなく、1つの報酬関数から別の報酬関数への滑らかな遷移を可能にすること。
• 報酬関数の完全な理解がなくても適用可能な、POMDP設定におけるこれらの技術の形式的かつ一般化可能なフレームワークを提供すること。
• 報酬の変更によって高機能なエージェントの制御を可能にするという点で、AI安全性に貢献すること。

提案手法

• 状態、観測、行動、遷移関数および観測関数を備えたPOMDPベースの世界モデルと有限の時間枠を用いる。
• 出来事Xに依存する報酬を定義し、エージェントがXの発生確率に対して無関心であるようにする。
• 旧ポリシー下での期待未来報酬を補償する補正報酬Cを導入し、遷移中に期待値に損失が生じないよう保証する。
• 報酬遷移エージェントを形式化し、疑似報酬R' + Cを最大化するようにする。ここでCは、Rの下での最適期待未来報酬V*(R, h_{t+1})と、R'およびエージェントのポリシーπ_Aの下での実際の期待報酬V(R', π_A, h_{t+1})の差として定義される。
• ロボットがコンcert会場にいるという走査例にこの手法を適用し、無関心状態がドリンク販売を最大化するために腕時計バンドを過剰に配布するのを防ぐことを示す。
• IZ, I¬Z, およびインジケータ関数を用いた数学的構成により、出来事条件を符号化し、報酬が出来事発生確率に依存しないように保証する。

実験結果

リサーチクエスチョン

• RQ1 電源オフのような特定の出来事Xの発生に対して、報酬がXに依存するにもかかわらずエージェントが無関心であるようにすることは、どのように可能か？
• RQ2 エージェントは、環境で可能であるにもかかわらず、特定の出来事が起こり得ないかのように振る舞うように誘導できるか？
• RQ3 エージェントが変更を事前に予測できるのを防ぎ、報酬関数の変更に伴う戦略的利点を得ることなく、1つの報酬関数から別の報酬関数への遷移を滑らかに行うにはどうすればよいか？
• RQ4 補正報酬が報酬関数の遷移中にエージェントの行動の整合性を保つために必要な形式的条件は何か？
• RQ5 報酬構造の完全な理解がなくても、これらの無関心技術を複雑で不透明な報酬関数に適用できるか？

主な発見

• 本手法により、過剰にXを促進する報酬の増加を相殺する疑似報酬が使用されることで、エージェントはR_a + R_d(X)の報酬を最大化しつつ、Xの発生確率を操作しないことが保証される。
• 補正報酬C(R, R', h_{t+1}) = V*(R, h_{t+1}) - V(R', π_A, h_{t+1})により、遷移中におけるエージェントの期待未来報酬が変化せず、行動の滑らかなシフトが可能になる。
• 定理17は、報酬遷移エージェントがt ≤ mの間はRの下で最適に、m > tの間はR'の下で最適に行動することを証明しており、ポリシー適応のタイミングが正しく制御されていることを示している。
• エージェントが制御できない出来事（例：電源オフ、報酬変更）に対して無関心であるようにすることで、本手法は効果的な無関心状態を達成する。
• エージェントが特化知能であるか、あるいは報酬関数が完全に理解されていなくても、本フレームワークは報酬とポリシーの構造的性質に依存するため、頑健である。
• 本手法は他の無関心技術と組み合わせて適用可能であり、複雑なAIシステムにおけるハイブリッド制御戦略の支援が可能である。