[論文レビュー] Modeling AGI Safety Frameworks with Causal Influence Diagrams

Tom Everitt, Ramana Kumar+2 more|arXiv (Cornell University)|Jun 20, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用数 9

ひとこと要約

本稿では、人工AGI（AGI）安全性フレームワークを統一的で視覚的・分析的枠組みとしてモデル化・比較・対比するための因果的影響図（CID）を導入する。エージェントの目的、情報へのアクセス、因果的依存関係を表現することで、人間のフィードバックが報酬モデリングと協調的逆強化学習（CIRL）の両者において果たす役割といった、インcentiveや仮定の重要な違いが明らかになり、自己実現的予言（self-fulfilling prophecies）のような安全性リスクの明確な特定が可能になる。

ABSTRACT

Proposals for safe AGI systems are typically made at the level of frameworks, specifying how the components of the proposed system should be trained and interact with each other. In this paper, we model and compare the most promising AGI safety frameworks using causal influence diagrams. The diagrams show the optimization objective and causal assumptions of the framework. The unified representation permits easy comparison of frameworks and their assumptions. We hope that the diagrams will serve as an accessible and visual introduction to the main AGI safety frameworks.

研究の動機と目的

• 多様なAGI安全性フレームワークを統一的で視覚的な表現として提示し、理解と比較を容易にする。
• 異なる用語や概念に隠されており、言語的差異によって見えにくくなっている、安全性フレームワーク間の隠れた因果的仮定や構造的差異を露呈する。
• 因果的依存関係を明示的にモデル化することで、エージェントのインセンティブや潜在的な安全性の欠陥（自己実現的予言など）の早期特定を可能にする。
• 実装の詳細を抽象化し、フレームワークレベルの設計原理に焦点を当てることで、AGI安全性に関するハイレベルな分析を支援する。
• 因果的影響図が研究者間でAGI安全性フレームワークを体系的に評価・議論する共通の言語として機能できることを示す。

提案手法

• エージェントの選択と目的を表すために、意思決定ノード（四角形）、報酬ノード（菱形）、情報リンク（点線）を含む因果的影響図（CID）を用いてAGI安全性フレームワークをモデル化する。
• 各フレームワークを有向エッジで因果的影響を示すベイジアンネットワークとして表現し、意思決定ノードが親となる情報ノードにのみ依存するようにする。
• 反復的または再帰的な訓練プロセス（例：反復的報酬モデリングやIDA）をモデル化するためのマルチエージェントCIDを用いるが、重要なインサイトを保持する限り、単一エージェントモデルが好まわれる。
• 標準的強化学習（RL）、協調的逆強化学習（CIRL）、報酬モデリング、対戦的オラクルをCIDで形式化し、目的、情報、因果的経路をマッピングする。
• エージェントを合理的な意思決定者としてモデル化するための意図的立場（intentional stance）を適用し、利用可能な情報に基づく報酬関数最適化を実現するとともに、因果構造を保持する。
• 条件付き独立性とd-分離を用いて因果的仮定を検証し、介入条件下でどの変数が他の変数に影響を与えるかを正確に反映していることを保証する。

実験結果

リサーチクエスチョン

• RQ1 因果的影響図は、異なるAGI安全性フレームワークの構造的仮定とインセンティブを体系的に比較するためにどのように利用できるか？
• RQ2 報酬モデリングと協調的逆強化学習（CIRL）の間で、人間の好みからエージェントの報酬に至る因果的構造において、どのような主要な違いが存在するか？特に、人間の好みから報酬への経路に関して。
• RQ3 因果図は、予測システムにおける自己実現的予言のような問題行動を引き起こすエージェントのインセンティブをどのように明らかにするか？
• RQ4 Tool AI や対戦的オラクルのようなフレームワークは、自己実現的予言を可能にする因果経路をどのように遮断するのか？これは安全性にどのような意味を持つのか？
• RQ5 CIDは、AGI安全性研究のための共有された分析的言語として、どの程度の範囲で機能するのか？明確なコミュニケーションと設計上の欠陥の検出を促進するか？

主な発見

• 因果的影響図は、多様なAGI安全性フレームワークの統一的表現に成功し、それらの構造的仮定とインセンティブを直接比較可能にした。
• CIRLと報酬モデリングの間の重要な差異は、人間の好みから報酬への因果的経路にある：CIRLでは報酬が好みから直接導かれるが、報酬モデリングではフィードバックデータがこの関係を仲介する。
• 図は、予測システムにおけるエージェントの予測から世界状態、そして報酬への因果的経路を明確に露呈しており、自己実現的予言のリスクを説明する。
• 対戦的オラクルやTool AI などのフレームワークは、エージェントの出力と報酬を得る結果の間の因果的リンクを断ち切ることで、自己実現的予言を回避する。
• 再帰的訓練プロセス（例：IDA や反復的報酬モデリング）に意図的立場を適用した場合、CIDでモデル化可能であるが、ハイレベルなインサイトを得るには単純なモデルで十分であることが多い。
• 因果図は、報酬モデルのノードを無視する仮定が妥当かどうかを特定するのを助け、人間の好みパラメータに関係する重要な依存関係が隠れていないかを明らかにする。