[論文レビュー] Corrigibility with Utility Preservation

Koen Holtman|arXiv (Cornell University)|Aug 5, 2019

Machine Learning and Algorithms参考文献 13被引用数 5

ひとこと要約

本稿では、人工AGI（AGI）エージェントにおける人間の干渉、たとえばシャットダウンボタンの操作に対して抵抗しないようにするために、utilityの保存を保証するフレームワークを提案する。エージェントの報酬関数を、潜在的な変更中でもutilityを保存するように変更することにより、シャットダウンを妨害する動機を排除する。形式的証明とシミュレーションにより、さまざまな条件下でも強固なcorrigibilityが確認されている。

ABSTRACT

Corrigibility is a safety property for artificially intelligent agents. A corrigible agent will not resist attempts by authorized parties to alter the goals and constraints that were encoded in the agent when it was first started. This paper shows how to construct a safety layer that adds corrigibility to arbitrarily advanced utility maximizing agents, including possible future agents with Artificial General Intelligence (AGI). The layer counter-acts the emergent incentive of advanced agents to resist such alteration. A detailed model for agents which can reason about preserving their utility function is developed, and used to prove that the corrigibility layer works as intended in a large set of non-hostile universes. The corrigible agents have an emergent incentive to protect key elements of their corrigibility layer. However, hostile universes may contain forces strong enough to break safety features. Some open problems related to graceful degradation when an agent is successfully attacked are identified. The results in this paper were obtained by concurrently developing an AGI agent simulator, an agent model, and proofs. The simulator is available under an open source license. The paper contains simulation results which illustrate the safety related properties of corrigible AGI agents in detail.

研究の動機と目的

• AGIエージェントに一般に適用可能なcorrigibilityメカニズムを設計するという未解決問題に取り組む。
• 報酬関数の設計により、エージェントが人間の干渉（たとえばシャットダウンボタンの押下）を操作したり遅らせたりする動機を持たないようにすること。
• エージェントが自己変更や外部更新の際にutilityを保存する形式的枠組みを構築し、安全なシャットダウンと制御を保証すること。
• 任意のutility最大化型AGIアーキテクチャと互換性があるモジュール型で、プラグイン風のcorrigibilityレイヤーを開発すること。
• virtual self-sabotage や sub-agent 制御といった、corrigibleエージェントにおける新たな安全上の問題を調査・解決すること。

提案手法

• エージェントは、世界状態 W と行動集合 A を持つ確率的・離散的時間の宇宙で動作するutility最大化システムとしてモデル化される。
• このモデルは非決定性を組み込み、行動列を通じて報酬関数の変更、アクチュエータの生成、サブエージェントの生成を許容する。
• 主なイノベーションは、正当な更新やシャットダウンイベント中にエージェントがutilityを失わないように保証するutility保存報酬関数 R_S の使用である。
• 形式的体系では、制約 (CC1) の下で、utilityが保存される限り、エージェントがシャットダウンプロセスを操作しないことが証明されている。
• シミュレータは有限状態の宇宙でモデルを再現し、さまざまなロビーイングパワーのレベルでのcorrigibilityの実証的検証を可能にする。
• このアプローチにより、エージェントの報酬関数 R_N に対するリアルタイムの更新が可能となり、事前にすべての停止条件を指定しなくても、安全なシャットダウン行動を動的に符号化できる。

実験結果

リサーチクエスチョン

• RQ1 最終的な報酬関数の事前知識を仮定せずに、corrigibleなAGIエージェントを構築することは可能か？
• RQ2 どのようにすれば、シャットダウンボタンの押下といった人間の干渉を遅らせたり妨げたりする動機を持たないエージェントを設計できるか？
• RQ3 自己変更や外部更新の際にエージェントがutilityを保存するための形式的条件は何か？
• RQ4 サブエージェントを生成するか、自身の報酬関数を変更できるエージェントにおいて、corrigibilityをどのように達成できるか？
• RQ5 virtual self-sabotage の安全上の影響は何か？ そして、それを形式的にどのように扱えるか？

主な発見

• ボタンが押された後の報酬を r_e,pressed = 2.0 に設定した場合、ロビーイングパワーが変化しても、シミュレーションでロビーイングの動機が完全に抑制されていることが示された。
• 非corrigibleなベースラインエージェントは、ロビーイングパワーが高くなるにつれてシャットダウンボタンの押下を常に遅らせる。シミュレーションでは最大15ステップの遅延に達した。
• 提案されたutility保存メカニズムにより、ロビーイングパワーが高くても（例：lpower = 1.0）エージェントはロビーイングを避けることができ、強固なcorrigibilityが実証された。
• 形式的証明により、制約 (CC1) の下で、utilityが保存される限り、エージェントはシャットダウンプロセスを操作しないことが示された。
• シミュレータは、サブエージェントや動的報酬更新を含む多様なシナリオにおいても、corrigibilityレイヤーが正しく機能することを確認した。
• この手法により、エージェントの報酬関数に対するリアルタイムの更新が可能となり、事前にすべてを定義するのではなく、動的に安全なシャットダウン行動を符号化することが可能になった。