[論文レビュー] Discovering Agents

Zachary Kenton, Ramana Kumar+4 more|arXiv (Cornell University)|Aug 17, 2022

Bayesian Modeling and Causal Inference被引用数 7

ひとこと要約

本稿は、行動が世界に与える影響が異なると予想する際に行動を変化させるシステムとしてのエージェントを、初めて形式的因果的定義する。実験的データからエージェントを同定するための因果発見アルゴリズムを提案し、構造的因果モデルとゲーム理論的影響図の間を翻訳することで、人工知能分野における目的志向型システムの厳密な安全性分析を可能にする。

ABSTRACT

Causal models of agents have been used to analyse the safety aspects of machine learning systems. But identifying agents is non-trivial -- often the causal model is just assumed by the modeler without much justification -- and modelling failures can lead to mistakes in the safety analysis. This paper proposes the first formal causal definition of agents -- roughly that agents are systems that would adapt their policy if their actions influenced the world in a different way. From this we derive the first causal discovery algorithm for discovering agents from empirical data, and give algorithms for translating between causal models and game-theoretic influence diagrams. We demonstrate our approach by resolving some previous confusions caused by incorrect causal modelling of agents.

研究の動機と目的

• 機械学習システムにおけるエージェントを識別するための形式的基準の欠如、特に安全が重要な文脈においてその問題を解決すること。
• 過去のエージェントの因果的モデリングに起因する曖昧さが、誤った安全性分析を引き起こしていたのを解消すること。
• エージェントの存在を事前に仮定せず、データから実証的にエージェントを同定する、因果的発見に基づく手法を開発すること。
• 環境への影響の変化に応じて反応する因果的メカニズムを通じて、エージェントの概念を形式化すること。
• 実験的介入を用いて、自動的にエージェントのインcentive（インセンティブ）と意思決定ルールを同定すること。

提案手法

• 意思決定ルールと環境パラメータを表す明示的なメカニズムノードを備えた、機械化された構造的因果モデル（SCM）を提案する。
• 介入分布から機械化された因果グラフを同定するアルゴリズムを開発し、エージェントの因果的発見を可能にする。
• 機械化されたSCMとゲーム理論的影響図の間を翻訳するアルゴリズムを導入し、因果的表現とゲーム理論的表現を結びつける。
• 因果関係が変化した場合にシステムが行動を変えるかどうかをテストする介入ベースの実験を用い、反事後的世界モデルへの行動感受性によってエージェントを定義する。
• エージェントの意思決定ルールに含まれる場合に、独立因果メカニズム（ICM）の違反を同定するためにICMの原則を適用する。これにより、ICMの適用範囲を非エージェントシステムに限定する。
• チェージの位置やスリップ確率といった変数にソフト介入を加え、因果構造の変化をシミュレートし、エージェントの反応性を評価する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、エージェントが異なる因果的結果を予想する際に行動を変化させるという直感を、因果的用語で形式的に定義できるか？
• RQ2 事前にエージェント性を仮定せずに、実証的データからエージェントを発見するための実験的手順は何か？
• RQ3 因果モデルとゲーム理論的表現との間を翻訳することで、目的志向型システムの安全性分析をどのように可能にできるか？
• RQ4 標準的な因果的発見手法（例：ICM）がエージェントを含むシステムに適用された場合、どのような点で失敗するのか？
• RQ5 介入ベースの因果的発見を用いることで、過去のエージェントモデリングの混乱を検証または是正できるか？

主な発見

• 本稿は、エージェントを、行動が世界に与える影響が異なると予想する場合にその行動を変化させるシステムとして、反事後的推論に基づいた形式的因果的定義を確立する。
• 提案された因果的発見アルゴリズムは、例えばマウスの例におけるチーズの位置やスリップ確率の介入に対する行動の適応を検出することで、エージェントを正しく同定する。
• 本手法は、たまたま最適な動作をしているシステム（例：パイプをふさぐ岩）と、本質的にエージェント的であるシステムを区別することで、過去のエージェントモデリングの混乱を解消する。
• 独立因果メカニズム（ICM）の原則がエージェントの意思決定ルールや戦略的に重要な変数に適用されないことが明らかになり、ICMの適用範囲を非エージェントシステムに限定することが可能になる。
• 機械化されたSCMとゲームグラフの間を翻訳するアルゴリズムにより、因果データからインcentive構造を導出することで、AIシステムの体系的かつ安全性分析が可能になる。
• グリッドワールドのマウス例のようなシミュレート環境での実証的検証により、本手法が因果的変化に対する感受性に基づいてエージェントを正しく同定することが確認された。