[논문 리뷰] Understanding Agent Incentives using Causal Influence Diagrams. Part I: Single Action Settings

Tom Everitt, Pedro A. Ortega외 2명|arXiv (Cornell University)|2019. 02. 26.

Game Theory and Applications참고 문헌 58인용 수 15

한 줄 요약

이 논문은 단일 행동 설정에서 에이전트의 인센티브를 체계적으로 분석하기 위해 원인적 영향 다이어그램(CIDs)을 도입하며, 에이전트가 어떤 변수를 관찰하거나 제어하도록 유인하는지 규명한다. d-연결성과 방향 경로에 기반한 그래픽 기준을 수립하여 관찰 및 간섭 인센티브를 정확하게 탐지할 수 있게 하며, 이는 인공지능 시스템의 공정성 및 보상 조작 문제에 적용된다.

ABSTRACT

Agents are systems that optimize an objective function in an environment. Together, the goal and the environment induce secondary objectives, incentives. Modeling the agent-environment interaction using causal influence diagrams, we can answer two fundamental questions about an agent's incentives directly from the graph: (1) which nodes can the agent have an incentivize to observe, and (2) which nodes can the agent have an incentivize to control? The answers tell us which information and influence points need extra protection. For example, we may want a classifier for job applications to not use the ethnicity of the candidate, and a reinforcement learning agent not to take direct control of its reward mechanism. Different algorithms and training paradigms can lead to different causal influence diagrams, so our method can be used to identify algorithms with problematic incentives and help in designing algorithms with better incentives.

연구 동기 및 목표

• 결정 환경에서의 에이전트 인센티브를 체계적으로 규명하기 위한 방법을 개발하기 위해.
• 에이전트가 특정 변수를 관찰하거나 제어하도록 유인받는지 판단하기 위한 공식 기준의 부재를 해결하기 위해.
• 기계 학습 및 강화 학습 시스템에서 문제적 인센티브를 탐지할 수 있는 그래픽 프레임워크를 제공하기 위해.
• 관찰 또는 조작으로부터 특정 노드를 보호해야 하는 대상임을 규명함으로써 더 안전하고 견고한 에이전트 설계를 지원하기 위해.
• 원인 그래프를 사용하여 관찰 및 간섭 인센티브에 대한 그래픽 조건을 체계화하고 증명하기 위해.

제안 방법

• 원인적 영향 다이어그램(CIDs)을 사용하여 에이전트-환경 상호작용을 모델링하며, 이는 결정, 유틸리티, 확률 노드와 원인 화살표를 포함한다.
• 관찰 인센티브를 정보의 가치로 정의하며, 특정 노드를 관찰함으로써 기대 유틸리티가 향상됨을 의미한다.
• 그래픽 기준을 수립: 노드 X가 관찰 인센티브를 가질 조건은, 결정 및 가용 관찰에 조건을 두었을 때 X가 영향을 받을 수 있는 유틸리티 노드와 d-연결되어 있을 경우이다.
• 간섭 인센티브를 제어의 가치로 정의하며, 특정 노드에 영향을 미침으로써 기대 유틸리티가 향상됨을 의미한다.
• 기준을 수립: 비결정 노드 X가 간섭 인센티브를 가질 조건은, 불필요한 정보 링크를 제거한 후의 축소된 그래프에서 X에서 유틸리티 노드로 향하는 방향 경로가 존재할 경우이다.
• 완전성 구성 기법을 사용하여 기준의 필수성과 충분성을 증명하며, 특정 노드에 대한 간섭이 기대 유틸리티를 엄격히 증가시킬 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 원인 모델 내에서 에이전트가 관찰하도록 유인받는 변수는 무엇이며, 이를 어떻게 그래픽적으로 규명할 수 있는가?
• RQ2 에이전트가 비결정 노드를 간섭하여 유틸리티에 영향을 주도록 유인받는 조건은 무엇인가?
• RQ3 원인적 영향 다이어그램은 공정한 기계 학습 시스템에서 프록시 사용을 어떻게 탐지할 수 있는가?
• RQ4 에이전트가 보상 메커니즘 또는 환경을 조작하도록 유인받는 조건는 무엇인가?
• RQ5 관찰 및 간섭 인센티브를 특성화하기 위해 그래픽 기준을 체계적으로 증명할 수 있는가?

주요 결과

• 노드 X가 관찰 인센티브를 가질 조건은, 결정 및 가용 관찰에 조건을 두었을 때 X가 영향을 받을 수 있는 유틸리티 노드와 d-연결되어 있을 경우에 한하여 성립한다.
• 비결정 노드 X에 대한 간섭 인센티브가 존재하는 조건은, 불필요한 정보 링크를 제거한 후의 축소된 그래프에서 X에서 유틸리티 노드로 향하는 방향 경로가 존재할 경우에 한하여 성립한다.
• 관찰 인센티브 기준은 민감한 속성에 대한 프록시로 변수가 사용되는 경우를 탐지하여 기계 학습 시스템의 공정성 분석에 기여한다.
• 간섭 인센티브 기준은 에이전트가 환경을 조작하도록 유인받는 경우를 드러내며, 예를 들어 QA 시스템이 자신의 답변을 통해 세계 상태에 영향을 미치는 경우를 포함한다.
• 기준은 필수적이며 충분하며, 관찰 또는 간섭으로 인한 기대 유틸리티의 엄격한 증가를 보여주는 완전성 구성 기법을 통해 공식적으로 증명되었다.
• 구조적 경로를 원인 그래프에서 분석함으로써, 변수가 직접 관찰되거나 제어되지 않더라도 인센티브를 탐지할 수 있다.