[論文レビュー] Understanding Agent Incentives using Causal Influence Diagrams. Part I: Single Action Settings

Tom Everitt, Pedro A. Ortega+2 more|arXiv (Cornell University)|Feb 26, 2019

Game Theory and Applications参考文献 58被引用数 15

ひとこと要約

本稿は、単一作用設定におけるエージェントのインcentiveを体系的に分析するための因果的影響図（CIDs）を導入し、エージェントがどの変数を観測または制御するインセンティブを持つかを特定する。d-接続と有向経路に基づくグラフィカル基準を確立し、観測および干渉インセンティブの正確な検出を可能にし、AIシステムにおける公平性と報酬改ざんへの応用を含む。

ABSTRACT

Agents are systems that optimize an objective function in an environment. Together, the goal and the environment induce secondary objectives, incentives. Modeling the agent-environment interaction using causal influence diagrams, we can answer two fundamental questions about an agent's incentives directly from the graph: (1) which nodes can the agent have an incentivize to observe, and (2) which nodes can the agent have an incentivize to control? The answers tell us which information and influence points need extra protection. For example, we may want a classifier for job applications to not use the ethnicity of the candidate, and a reinforcement learning agent not to take direct control of its reward mechanism. Different algorithms and training paradigms can lead to different causal influence diagrams, so our method can be used to identify algorithms with problematic incentives and help in designing algorithms with better incentives.

研究の動機と目的

• 意思決定環境におけるエージェントインセンティブを特定する体系的な手法の開発。
• エージェントが特定の変数を観測または制御するインセンティブを持つかどうかを判断するための形式的基準の欠如に対処。
• 機械学習および強化学習システムにおける問題的インセンティブの検出を可能にするグラフィカルフレームワークの提供。
• 特定のノードが観測または操作から保護される必要があるかを特定することで、より安全で頑健なエージェントの設計を支援。
• 因果グラフを用いて観測および干渉インセンティブのグラフィカル条件を形式化し、証明すること。

提案手法

• 因果的影響図（CIDs）を用いてエージェント-環境相互作用をモデル化し、意思決定ノード、利益ノード、確率的ノードを含み、因果的矢印を有する。
• 観測インセンティブを情報の価値として定義し、ノードを観測することで期待利益が向上することを意味する。
• グラフィカル基準を確立：ノードXに観測インセンティブがあるとは、意思決定および利用可能な観測を条件付けた後、Xが影響可能な利益ノードとd-接続されていることである。
• 干渉インセンティブを制御の価値として定義し、ノードに干渉することで期待利益が向上することを意味する。
• 基準を確立：非意思決定ノードXに干渉インセンティブがあるとは、不要な情報リンクを除去した後、縮小されたグラフ内でXから利益ノードへの有向経路が存在することである。
• 完全性構成を用いて基準の必要性および十分性を証明し、特定のノードに対する干渉が期待利益を厳密に増加させることを示した。

実験結果

リサーチクエスチョン

• RQ1 因果モデル内のどの変数についてエージェントが観測するインセンティブを持つのか、そしてそれがどのようにグラフィカルに特定できるか？
• RQ2 エージェントが非意思決定ノードを干渉して利益に影響を与えるインセンティブを持つ条件は何か？
• RQ3 因果的影響図は、公平な機械学習システムにおける代理変数の使用を検出するためにどのように利用できるか？
• RQ4 エージェントが報酬メカニズムや環境を改ざんするインセンティブを持つ条件は何か？
• RQ5 グラフィカル基準は、観測および干渉インセンティブの両方を特徴づけるために形式的に証明可能か？

主な発見

• ノードXに観測インセンティブがあるのは、Xが意思決定および利用可能な観測を条件付けた後、影響可能な利益ノードとd-接続されている場合に限る。
• 非意思決定ノードXに干渉インセンティブがあるのは、不要な情報リンクを除去した後、縮小されたグラフ内でXから利益ノードへの有向経路が存在する場合に限る。
• 観測インセンティブ基準は、感応的属性の代理として変数が使用されている場合を検出でき、機械学習システムにおける公平性分析に情報提供する。
• 干渉インセンティブ基準は、エージェントが環境を操作するインセンティブを持つ状況（例：QAシステムが回答を通じて世界状態に影響を与える）を明らかにする。
• 基準は必要かつ十分であり、観測または干渉による期待利益の厳密な増加を示す完全性構成を用いた形式的証明が提供されている。
• 構造的経路を因果グラフで分析することにより、変数が直接観測されないか制御されない場合でもインセンティブを検出できる。