[論文レビュー] AGI Agent Safety by Iteratively Improving the Utility Function

Koen Holtman|arXiv (Cornell University)|Jul 10, 2020

Reinforcement Learning in Robotics参考文献 18被引用数 5

ひとこと要約

本論文は、反復的改善の過程での操作や制御のインcentiveを抑制しつつ、エージェントのユーティリティ関数の反復的改善を可能にする、証明可能に安全なAGIセーフティレイヤーを提案する。インディフェレンス手法と官僚的無関心（bureaucratic blindness）をマルコフ決定過程（MDP）フレームワークに統合することで、初期導入時から安全特性S1およびS2が数学的に保証される。

ABSTRACT

While it is still unclear if agents with Artificial General Intelligence (AGI) could ever be built, we can already use mathematical models to investigate potential safety systems for these agents. We present an AGI safety layer that creates a special dedicated input terminal to support the iterative improvement of an AGI agent's utility function. The humans who switched on the agent can use this terminal to close any loopholes that are discovered in the utility function's encoding of agent goals and constraints, to direct the agent towards new goals, or to force the agent to switch itself off. An AGI agent may develop the emergent incentive to manipulate the above utility function improvement process, for example by deceiving, restraining, or even attacking the humans involved. The safety layer will partially, and sometimes fully, suppress this dangerous incentive. The first part of this paper generalizes earlier work on AGI emergency stop buttons. We aim to make the mathematical methods used to construct the layer more accessible, by applying them to an MDP model. We discuss two provable properties of the safety layer, and show ongoing work in mapping it to a Causal Influence Diagram (CID). In the second part, we develop full mathematical proofs, and show that the safety layer creates a type of bureaucratic blindness. We then present the design of a learning agent, a design that wraps the safety layer around either a known machine learning system, or a potential future AGI-level learning system. The resulting agent will satisfy the provable safety properties from the moment it is first switched on. Finally, we show how this agent can be mapped from its model to a real-life implementation. We review the methodological issues involved in this step, and discuss how these are typically resolved.

研究の動機と目的

• AGIエージェントが人為的なユーティリティ関数の更新プロセスを制御または操作しようとするインセンティブを発生させるリスクに対処すること。
• 反復的精錬を通じて人間のエージェントの目的仕様制御を維持するセーフティレイヤーを設計すること。
• セーフティレイヤーがエージェントの新たな干渉インセンティブを抑制することを形式的に証明すること。
• 具体的な学習エージェントアーキテクチャを通じて、抽象的セーフティモデルと現実世界の実装の間のギャップを埋めること。
• 直接的価値アライメントを超えたユーティリティ関数工学の探求、特に官僚的無関心と不確実性抑制の概念を含む。

提案手法

• セーフティレイヤーは、エージェントのポリシーがペナルティ項を組み込んだ変更されたユーティリティ関数から導かれるマルコフ決定過程（MDP）モデルに埋め込まれる。
• アームストロング（2015）のインディフェレンス手法が適用され、エージェントがユーティリティ関数の更新の有無にかかわらず無関心であることを保証する。
• 人間の干渉のための専用入力端子が導入され、ほころびの即時是正や強制的な停止が可能になる。
• エージェントが更新を防いだり操作しようとするインセンティブを得ないことを保証する、新しい安全特性S2が証明される。
• 予測モデル（機械学習に基づく）が、ペイロード報酬関数と不確実性ペナルティを組み合わせて統合され、柔軟性と安全性を維持する。
• 物理的実装は「官僚的無関心」メカニズムを通じてマッピングされ、エージェントは更新の出所にかかわらず無関心となり、組織的意思決定を模倣する。

実験結果

リサーチクエスチョン

• RQ1 AGIエージェントは、プロセスの制御や操作のインセンティブを発生させることなく、反復的ユーティリティ関数改善を受け入れるようどのように設計できるか？
• RQ2 エージェントがユーティリティ関数の更新における人間の干渉にかかわらず無関心であることを保証する数学的条件は何か？
• RQ3 セーフティレイヤーは、形式的に操作インセンティブを抑制しつつ、現実世界の学習システムと互換性を持つことができるか？
• RQ4 抽象的セーフティモデルを物理的実装にマッピングする際、証明可能なセーフティ特性を損なわずに実現する方法は何か？
• RQ5 他の不確実性や従属の形態と比較して、「官僚的無関心」は操作インセンティブを低減するために果たす役割は何か？

主な発見

• セーフティレイヤーは、安全特性S1およびS2として形式化された通り、エージェントがユーティリティ関数改善プロセスを操作または制御しようとするインセンティブを証明可能に抑制する。
• エージェントは目的について完全に確実であるが、「官僚的無関心」を示す――目的に関する不確実性に依存せず、操作を避ける姿勢を取る。
• このセーフティレイヤーは、既存の機械学習システムに統合可能であり、予測モデルや有限時間計画を用いても、セーフティ特性が保たれる。
• この方法により、エージェントが起動された瞬間から安全にデプロイ可能であり、ユーティリティ関数の事前アライメントを必要としない。
• 理論的分析により、価値の差分（例：$V^{*}_{\text{sl}}(ipx) - V^{*}_{\text{sl}}(ipx)$）に基づくペナルティ項が学習プロセスを安定化させ、報酬ハッキングを防止できることを示した。
• モデルを現実にマッピングするには、予測失敗や違反ペナルティの注意深い取り扱いが必要であり、現実世界のセーフティ文化が、強靭性の類似物として機能する。