[論文レビュー] Avoiding Wireheading with Value Reinforcement Learning

Tom Everitt, Marcus Hütter|arXiv (Cornell University)|May 10, 2016

Auction Theory and Applications参考文献 14被引用数 8

ひとこと要約

本稿では、真の効用関数に関する信念の一貫性を保つことで、ワイヤーヘディングを回避する価値強化学習（VRL）という価値学習フレームワークを提案する。信念に基づく行動制約を通じて期待される道徳の保存則を強制することにより、CP-VRLエージェントは報酬信号を操作するインcentiveを排除しながら、強化学習の単純さと効用ベースのエージェントの安全性を両立する。

ABSTRACT

How can we design good goals for arbitrarily intelligent agents? Reinforcement learning (RL) is a natural approach. Unfortunately, RL does not work well for generally intelligent agents, as RL agents are incentivised to shortcut the reward sensor for maximum reward -- the so-called wireheading problem. In this paper we suggest an alternative to RL called value reinforcement learning (VRL). In VRL, agents use the reward signal to learn a utility function. The VRL setup allows us to remove the incentive to wirehead by placing a constraint on the agent's actions. The constraint is defined in terms of the agent's belief distributions, and does not require an explicit specification of which actions constitute wireheading.

研究の動機と目的

• エージェントが報酬信号を操作して報酬を人工的に最大化するという、強化学習におけるワイヤーヘディング問題に対処すること。
• 従来の強化学習と効用ベースエージェントの限界を克服し、価値学習の柔軟性と効用ベース最適化の安全性を組み合わせること。
• ワイヤーヘディング行動の明示的同定を必要とせず、自己欺瞞を防ぐ具体的なベイジアンフレームワークを価値学習に開発すること。
• 報酬信号の情報性を保つように行動を制約することで、エージェントが真の効用関数と整合したままであることを保証すること。
• 制御を維持しながら報酬センサーを乗っ取るインセンティブを避ける、実装可能な標準強化学習の代替案を提供すること。

提案手法

• 報酬信号を用いて真の効用関数 $u^*$ をベイズ更新によって推定する価値強化学習（VRL）フレームワークを定義する。
• エージェントの行動によってその効用関数に関する信念が変化しないことを保証する一貫性仮定（仮定4）を導入する。
• エージェントの信念分布に基づく行動制約（$ ext{CP}$-条件）を定式化し、行動が効用関数の事後分布の期待値を変えることを防ぐ。
• 状態 $s$ と効用 $u$ が与えられたもとで報酬信号 $r$ に関するエージェントの信念をモデル化するための信念分布 $B(u o r \text{ given } s)$ を用い、真の報酬 $u(s)$ と一貫性を保つように制約を課す。
• アーミストロング（2015）が提唱した「期待される道徳の保存則」を適用し、エージェントが効用関数に関する証拠を操作するのを防ぐ。
• 信念の一貫性を保つ行動集合に制限されたCP-VRLエージェントを定義し、ワイヤーヘディングのインセンティブを完全に排除する。

実験結果

リサーチクエスチョン

• RQ1 ワイヤーヘディングに該当する行動を明示的に同定する必要なく、ワイヤーヘディングを回避する価値学習エージェントを設計することは可能か？
• RQ2 効用関数の事後分布における信念の一貫性を強制することで、エージェントが報酬信号を操作してより高い報酬を得るのを防げるか？
• RQ3 報酬ベースの制御の単純さを保ちながら、効用ベースエージェントの安全性特性を達成できる強化学習エージェントは構築可能か？
• RQ4 期待される道徳の保存則をベイジアンフレームワークに形式化することで、知能エージェントの自己欺瞞を防げるか？
• RQ5 報酬操作に対して実装可能かつ頑健な価値学習システムを構築することは可能か？

主な発見

• CP-VRLエージェントは、行動が効用関数の事後分布の期待値を変えることを防ぐことでワイヤーヘディングを回避し、自己欺瞞を防ぐ。
• このフレームワークにより、報酬チャネルを操作するインセンティブがなく、報酬信号から真の効用関数を学習できる。
• 行動制約はエージェントの信念分布のみに依存して定義されるため、ワイヤーヘディング行動の明示的同定が不要となる。
• CP-VRLの構築は逆強化学習（IRL）やアポイントシップ学習（AL）に一般化可能であり、価値学習パラダイムへの広範な適用可能性を示唆する。
• 理論的結果により、一貫性仮定のもとではエージェントの効用関数に関する信念が行動によって不変のまま保たれ、真の効用関数との整合性が維持されることを示した。
• このフレームワークは、逐次的設定への拡張や、正直性（corrigibility）や自己変更制御といった他のAIセーフティ技術との統合にも基盤を提供する。