[논문 리뷰] Discovering Agents

Zachary Kenton, Ramana Kumar외 4명|arXiv (Cornell University)|2022. 08. 17.

Bayesian Modeling and Causal Inference인용 수 7

한 줄 요약

이 논문은 행동이 세계에 다른 영향을 미칠 것으로 기대할 때 행동을 조정하는 시스템으로서의 에이전트를 공식적인 인과적 정의로 제안한다. 경험 데이터에서 에이전트를 식별하기 위한 인과적 발견 알고리즘을 도입하며, 구조적 인과 모델과 게임 이론적 영향 다이어그램 간의 번역을 가능하게 하여, 인공지능에서 목표 지향 시스템의 엄밀한 안전성 분석을 가능하게 한다.

ABSTRACT

Causal models of agents have been used to analyse the safety aspects of machine learning systems. But identifying agents is non-trivial -- often the causal model is just assumed by the modeler without much justification -- and modelling failures can lead to mistakes in the safety analysis. This paper proposes the first formal causal definition of agents -- roughly that agents are systems that would adapt their policy if their actions influenced the world in a different way. From this we derive the first causal discovery algorithm for discovering agents from empirical data, and give algorithms for translating between causal models and game-theoretic influence diagrams. We demonstrate our approach by resolving some previous confusions caused by incorrect causal modelling of agents.

연구 동기 및 목표

• 기계 학습 시스템에서 에이전트를 식별하기 위한 공식적인 기준이 부족한 문제를 해결하기 위해, 특히 안전성이 중요한 맥락에서.
• 이전의 에이전트 인과 모델링에서 발생한 모호함이 잘못된 안전성 분석을 초래한 문제를 해결하기 위해.
• 에이전트의 존재를 가정하지 않고 데이터에서 실증적으로 에이전트를 식별할 수 있는 인과적 발견에 기반한 방법을 개발하기 위해.
• 환경 영향의 변화에 반응하는 인과 메커니즘을 통해 에이전트 개념을 공식화하기 위해.
• 실험적 간섭을 통해 자동으로 에이전트의 동기와 의사결정 규칙을 추론하기 위해.

제안 방법

• 의사결정 규칙과 환경적 변수를 나타내는 메커니즘 노드를 명시적으로 포함한 기계화된 구조적 인과 모델(SCM)을 제안한다.
• 간섭 분포에서 기계화된 인과 그래프를 추론하기 위한 알고리즘을 개발하여, 에이전트의 인과적 발견을 가능하게 한다.
• 기계화된 SCM과 게임 이론적 영향 다이어그램 간의 번역 알고리즘을 도입하여, 인과적 표현과 게임 이론적 표현을 연결한다.
• 인과 관계가 변경되었을 때 시스템이 행동을 바꿀지 여부를 실험적으로 테스트하기 위해 간섭 기반 실험을 사용하며, 반사적 세계 모델에 대한 행동 민감도를 통해 에이전트를 정의한다.
• 에이전트 의사결정 규칙이 포함된 경우 위반 사항을 식별하기 위해 독립된 인과 메커니즘(ICM) 원리를 적용하며, ICM의 적용 범위를 비에이전트 시스템으로 제한한다.
• 치즈 위치와 미끄러짐 확률과 같은 변수에 소프트 간섭을 적용하여 인과 구조의 변화를 시뮬레이션하고 에이전트의 반응성을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 행동이 다른 인과 결과를 기대할 경우 행동을 조정하는 인과적 관점에서 에이전트를 공식적으로 정의할 수 있는가? 이는 에이전트가 기대하는 영향의 변화에 따라 행동을 바꾼다는 직관을 포괄해야 한다.
• RQ2 에이전트의 존재를 사전에 가정하지 않고 경험 데이터에서 에이전트를 발견하기 위해 어떤 실험 절차를 사용할 수 있는가?
• RQ3 인과 모델과 게임 이론적 표현 간의 번역을 통해 목표 지향 시스템의 안전성 분석을 어떻게 가능하게 할 수 있는가?
• RQ4 표준 인과적 발견 방법, 예를 들어 ICM이 에이전트를 포함한 시스템에 적용되었을 때 어떤 방식으로 실패하는가?
• RQ5 간섭 기반 인과적 발견을 통해 이전의 에이전트 모델링 혼동을 해결하고, 이전의 가정을 검증하거나 수정할 수 있는가?

주요 결과

• 논문은 반사적 추론에 기반하여, 행동이 세계에 다른 영향을 미칠 것으로 기대할 경우 행동을 바꾸는 시스템으로서의 에이전트를 공식적인 인과적 정의로 설정한다.
• 제안된 인과적 발견 알고리즘은 치즈 위치나 미끄러짐 확률 변경과 같은 인과 메커니즘에 대한 간섭 시 행동 적응을 탐지함으로써 에이전트를 성공적으로 식별한다.
• 이 방법은 에이전트가 아닌 시스템(예: 파이프를 막는 바위처럼) 우연히 최적의 성능을 내는 시스템과 진정으로 에이전트로 간주되는 시스템을 구분함으로써 이전의 에이전트 모델링 혼동을 해결한다.
• 이 접근법은 독립된 인과 메커니즘(ICM) 원리가 에이전트 의사결정 규칙이나 전략적으로 중요한 변수에는 적용되지 않음을 드러내며, ICM의 적용 범위를 비에이전트 시스템으로 제한함을 보여준다.
• 기계화된 SCM과 게임 그래프 간의 번역 알고리즘을 통해 인과 데이터에서 인cent브 구조를 유도함으로써 AI 시스템의 체계적 안전성 분석이 가능해진다.
• 그리드월드 마우스 예제와 같은 시뮬레이션 환경에서의 실증적 검증을 통해, 시스템이 인과 변화에 민감한지에 따라 에이전트를 정확히 식별함을 확인할 수 있었다.