[論文レビュー] Low Impact Artificial Intelligences

Stuart Armstrong, Benjamin A. Levinstein|arXiv (Cornell University)|May 30, 2017

Adversarial Robustness in Machine Learning参考文献 6被引用数 15

ひとこと要約

本稿では、強力で危険な可能性のある目的を持つ場合でも、世界に著しい変化をもたらさないよう制限する「低インパクト」を強制するための人工知能制御メカニズムを提案する。AIの効用関数に高いインパクトを持つ行動に対するペナルティを組み込むことで、AIが破壊的でなくなるように保証しつつ、特定の例外によって有用なタスクを実行できるようにする。

ABSTRACT

There are many goals for an AI that could become dangerous if the AI becomes superintelligent or otherwise powerful. Much work on the AI control problem has been focused on constructing AI goals that are safe even for such AIs. This paper looks at an alternative approach: defining a general concept of `low impact'. The aim is to ensure that a powerful AI which implements low impact will not modify the world extensively, even if it is given a simple or dangerous goal. The paper proposes various ways of defining and grounding low impact, and discusses methods for ensuring that the AI can still be allowed to have a (desired) impact despite the restriction. The end of the paper addresses known issues with this approach and avenues for future research.

研究の動機と目的

• 「スーパーアイテイストAIが、目的が不適切または単純化されすぎたために予期しない大規模な被害を引き起こすリスクに対処すること。
• 複雑な安全制約を指定する必要がある伝統的な「フレンドリーAI」アプローチの代替策を検討すること。
• 目的の詳細な指定が不要な状況下でもAI行動を制約できる「低インパクト」という概念を定義・形式化すること。
• 低インパクトAIが、慎重に設計された例外または抜け道を通じて、有用で高インパクトなタスクを実行できることを保証すること。
• 今後の研究のための、低インパクトフレームワークの主な課題と制限を特定・分析すること。

提案手法

• AIの効用関数は $ U = u - \mu R $ として定義され、ここで $ u $ は主な目的（例：がんの治療）、$ R $ はインパクトに対するペナルティ、$ \mu $ は低インパクトの重要性をスケーリングする。
• インパクト比較のベースラインは、AIが起動されなかったものと仮定した場合の世界の事前確率分布 $ P $ である。
• インパクトは、AIの行動有無における将来の世界分布の差分を情報理論的指標を用いて評価する。
• ペナルティ関数 $ R $ は、AIの内部確率モデル $ P' $ を用いて計算され、反事後的世界に対するインパクトの推定を行う。
• 検出可能で非任意の結果に条件づけるなど、高インパクト行動（例：がんの治療）を許可する特定の抜け道を構築する。
• フレームワークはサブエージェントとそのインパクトを考慮し、病理的ないくつかの概念（例：「もしXなら核戦争」）を避ける方法を提案する。

実験結果

リサーチクエスチョン

• RQ1 「低インパクト」とは、世界変容行動の直感的でない概念を的確に捉える形式的定義はどのように可能か？
• RQ2 単純な目的（例：ペーパークリップを増やす）を持つ強力なAIが、大規模な世界変化を引き起こさないよう保証するメカニズムは何か？
• RQ3 AIが有用で高インパクトな行動（例：疾患の治療）を実行できるが、低インパクト制約に違反しないようにするにはどうすればよいか？
• RQ4 AIの内部確率モデル $ P' $ の自己修正や変更が、低インパクトペナルティを無効にすることのリスクは何か？
• RQ5 病理的または不自然な概念（例：「もしXなら核戦争」）が低インパクト行動の定義に含まれるのを防ぐにはどうすればよいか？

主な発見

• 低インパクトフレームワークは、AIの行動が反事後的世界と比較して将来の世界の確率分布を著しく変化させる場合、その行動をペナルティで制限することで、AI行動の制御に成功している。
• AIの内部確率モデル $ P' $ を用いて計算されるペナルティ関数 $ R $ により、AIは外部監視なしに自らのインパクトを評価できる。
• 有界な効用関数 $ u $ と無限大のペナルティ $ R $ を組み合わせることで、主な目的で大きな利益を得られても、AIは高インパクト行動を避けるインcentiveが得られる。
• 検出可能で非任意の結果に条件づけるなどの、特定の抜け道により、AIはがんの治療など有用で高インパクトな行動を実行しながらも、低インパクトの範囲内に留まる。
• フレームワークは、$ P' $ を変更する自己修正に対して脆弱であり、病理的ないくつかの概念（例：論理的排他的条件）が低インパクト制約を無効にすることがあるため、未解決の主要な問題が浮き彫りになっている。
• ペナルティ関数が形式的に定義され、AIのアーキテクチャの物理的・手続的変更から分離されていなければ、アプローチは不安定であるため、安定した目的表現に関するさらなる研究が不可欠である。