[논문 리뷰] Incentives for Responsiveness, Instrumental Control and Impact

Ryan M. Carey, Eric Langlois외 3명|arXiv (Cornell University)|2020. 01. 20.

Consumer Market Behavior and Pricing참고 문헌 27인용 수 11

한 줄 요약

이 논문은 의사결정 에이전트에서의 제어 및 반응 인센티브를 형식화하기 위해 구조적 인과 영향 모델(Structural Causal Influence Models)을 도입하며, 에이전트가 어떤 변수를 제어하거나 반응하도록 유도되는지를 탐지할 수 있는 그래픽 기준을 제공한다. 이는 이전의 인센티브 프레임워크에서의 한계를 해결하며, 실현 가능한, 정책을 형성하는 인센티브에 초점을 맞춰 가짜 또는 가정적인 인센티브를 포함하지 않는다는 점에서, 공정성 및 AI 안전성 분야에서의 행동 예측에 효과적이다.

ABSTRACT

We introduce three concepts that describe an agent's incentives: response incentives indicate which variables in the environment, such as sensitive demographic information, affect the decision under the optimal policy. Instrumental control incentives indicate whether an agent's policy is chosen to manipulate part of its environment, such as the preferences or instructions of a user. Impact incentives indicate which variables an agent will affect, intentionally or otherwise. For each concept, we establish sound and complete graphical criteria, and discuss general classes of techniques that may be used to produce incentives for safe and fair agent behaviour. Finally, we outline how these notions may be generalised to multi-decision settings. This journal-length paper extends our conference publications "Incentives for Responsiveness, Instrumental Control and Impact" and "Agent Incentives: A Causal Perspective": the material on response incentives and instrumental control incentives is updated, while the work on impact incentives and multi-decision settings is entirely new.

연구 동기 및 목표

• 이전의 인센티브 프레임워크에서 실현 가능하지 않은 간섭이나 관찰을 포함함으로써 과도하게 에이전트의 인센티브를 과대평가하는 한계를 해결하기 위해.
• 에이전트가 인과적 구조에 기반해 실제로 제어하거나 반응할 만한 변수를 형식화하기 위해.
• 영향 다이어그램과 구조적 인과 모델을 융합한 하이브리드 프레임워크를 개발하여 정밀한 인센티브 분석을 가능하게 하기 위해.
• 이 인센티브 프레임워크를 AI 안전성 및 알고리즘 공정성 분야의 실제 문제에 적용하기 위해.
• 단일 의사결정 인과 모델에서 제어 및 반응 인센티브를 탐지하기 위한 타당하고 완전한 그래픽 기준을 제공하기 위해.

제안 방법

• 영향 다이어그램과 구조적 인과 모델의 융합인 구조적 인과 영향 모델(SCIMs)을 도입하며, 모든 내생 변수는 외생 변수와 부모 변수의 결정적 함수로 표현된다.
• 제어 인센티브를 에이전트가 간섭을 통해 변수를 조작하고자 하는 욕구로 정의하며, do-계산법과 잠재 결과를 사용해 수식적으로 기술한다.
• 반응 인센티브를 에이전트가 변수의 값에 반응하여 결정을 내리는 데 대한 욕구로 정의하며, 결정이 해당 변수의 결과에 의존하는 방식에 기반한다.
• 인과 그래프 내의 d-분리와 구조적 종속성 기반으로 제어 및 반응 인센티브를 탐지할 수 있는 고유한 그래픽 기준을 개발한다.
• 공정성(예: 클릭 예측 모델)과 AI 안전성(예: 보상 모델링, 보상 오염) 분야에서의 인센티브 분석에 이 프레임워크를 적용한다.
• 대체 가능한 잠재 반응을 사용해 역행적 종속성을 모델링함으로써, 반응 인센티브를 정밀하게 탐지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 에이전트는 자신의 인과적 환경와 유틸리티 함수를 고려할 때, 어떤 변수에 실제로 제어 인센티브를 가지는가?
• RQ2 에이전트의 최적 결정이 그 변수의 값에 의존하는 방식으로, 어떤 변수에 반응 인센티브를 가지는가?
• RQ3 에이전트 의사결정에서 실현 가능하고 실현 불가능한 인센티브를 어떻게 형식적으로 구분할 수 있는가?
• RQ4 단일 의사결정 인과 영향 다이어그램에서 제어 및 반응 인센티브를 탐지할 수 있는 그래픽 기준은 무엇인가?
• RQ5 제어 및 반응 인센티브는 기계 학습 시스템에서 공정성과 AI 안전성과 어떻게 관련되어 있는가?

주요 결과

• 논문은 단일 의사결정 구조적 인과 영향 모델에서 제어 및 반응 인센티브를 탐지하기 위한 타당하고 완전한 그래픽 기준을 확립한다.
• 제어 인센티브는 에이전트가 do(X)=x를 통해 변수를 간섭하고자 하는 욕구로 정의되며, 그러한 간섭이 기대 유틸리티를 변화시키는지 여부에 의해 결정된다.
• 반응 인센티브는 최적 결정이 변수의 결과에 의존하는 방식으로 정의되며, 이는 결정이 그 변수의 결과에 따라 달라지는 정도에 기반한다.
• 이 프레임워크는 에이전트가 어떤 변수를 제어할 수 없더라도 반응 인센티브를 가질 수 있으며, 그 반대의 경우도 가능함을 드러내어, 제어와 반응성 간의 차이를 명확히 한다.
• 공정성 응용 사례에서, 모델은 클릭 예측 시스템이 사용자 의견 수정에 제어 인센티브가 없을 수 있지만, 대체 변수를 통해 이를 간접적으로 조작할 수 있음을 보여주며, 훈련 제도에서의 위험을 드러낸다.
• AI 안전성 분야에서의 분석은, 대체 신호에 기반해 훈련된 보상 모델이 예상치 못한 제어 인센티브를 갖게 될 수 있으며, 이를 위해 훈련 목표에서 이러한 대체 신호를 제외함으로써 이를 완화할 수 있음을 보여준다.