[논문 리뷰] Causal Analysis of Agent Behavior for AI Safety

Grégoire Delétang, Jordi Grau-Moya외 7명|arXiv (Cornell University)|2021. 03. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 40인용 수 6

한 줄 요약

이 논문은 인공 에이전트의 해석 가능성과 안전성을 확보하기 위해 통제된 실험과 원인 분석을 활용한 원인 분석 방법론을 제안한다. 환경을 조작하고 원인 모델을 통해 간섭 효과를 분석함으로써 인간이 이해할 수 있는 메커니즘적 통찰을 도출함으로써, 격자 세계 시뮬레이션에서 여섯 가지 사용 사례에 걸쳐 효과성을 입증한다.

ABSTRACT

As machine learning systems become more powerful they also become increasingly unpredictable and opaque. Yet, finding human-understandable explanations of how they work is essential for their safe deployment. This technical report illustrates a methodology for investigating the causal mechanisms that drive the behaviour of artificial agents. Six use cases are covered, each addressing a typical question an analyst might ask about an agent. In particular, we show that each question cannot be addressed by pure observation alone, but instead requires conducting experiments with systematically chosen manipulations so as to generate the correct causal evidence.

연구 동기 및 목표

• 강력한 기계 학습 에이전트의 투명성 부족과 예측 불가능성 문제를 해결하기 위해, 특히 안전이 중요한 응용 분야에서.
• 에이전트 행동의 원인 메커니즘을 밝혀내기 위한 체계적이고 인간이 참여하는 방법론을 개발하기 위해.
• 통제된 실험과 원인 모델링을 통해 분석가가 실패 모드를 설명하고 예측하고 사전 차단할 수 있도록 하기 위해.
• 저수준의 신경망 세부 정보로부터 추상화된 메커니즘적 고수준 설명을 생성하기 위해.
• 관찰 분석을 넘어서는 엄밀한 원인 기반 프레임워크를 구축하여 AI 안전성을 확립하기 위해.

제안 방법

• 모의 환경에서 사전 학습된 에이전트를 대상으로 통제된 실험을 수행하기 위해 시뮬레이터를 사용하며, 입력, 시드, 상태에 대한 간섭을 가능하게 한다.
• 무작위성은 랜덤 시드 ω를 매개변수로 사용하여 확률적 에이전트-환경 상호작용을 결정론적 구조적 원인 모델로 재구성한다.
• 지각-행동 루프를 표현하기 위해 원인 베이지안 네트워크를 구성하며, 세계 상태, 에이전트 기억, 행동, 관측 간의 종속성을 코딩한다.
• 연구자들은 고수준 개념(예: '에이전트는 초록 사과를 선호함')을 사용해 원인 가설을 수립하고, 대상 간섭을 통해 이를 검증한다.
• 형식적 원인 확률 모델을 사용하여 실험 데이터로부터 가정을 표현하고 예측을 검증하기 위해 원인 추론 엔진을 활용한다.
• 뒤로 가는 시뮬레이션, 앞으로 가는 시뮬레이션, 상태 초기화, 분기 경로 탐색을 통해 반사적 상황을 탐색하는 데 지원한다.

실험 결과

연구 질문

• RQ1 에이전트가 특정 환경적 특성(예: 색상이 있는 물체)을 선호하는 데 영향을 주는 원인 메커니즘은 무엇인가?
• RQ2 에이전트 행동에서 직접적인 원인 효과와 혼란 변수를 어떻게 구분할 수 있는가?
• RQ3 관측된 행동을 체계적인 간섭을 통해 설명하는 원인 모델을 식별하고 검증할 수 있는가?
• RQ4 환경이나 에이전트 내부 상태에 대한 간섭이 행동 결과에 예측 가능하고 설명 가능한 방식으로 영향을 미치는가?
• RQ5 관찰 분 析의 한계는 무엇이며, 간섭을 통해 이러한 격차를 어떻게 메울 수 있는가?

주요 결과

• 이 방법론은 에이전트가 잔디-모래 환경에서 행동하는 데 영향을 주는 원인 메커니즘이 의도한 특성(색상)이 아니라 혼란 변수(예: 질감)임을 성공적으로 밝혀냈다. 이는 대상 간섭을 통해 유일하게 드러났다.
• 원인 유도 작업에서, 관측된 궤적의 시간적 순서와 다를 수 있는 비트레이스러운 원인 순서를 발견함으로써, 숨겨진 원인 구조를 추론할 수 있음을 입증했다.
• 이 방법은 에이전트가 미로에서 특정 행동을 피하는 이유를 설명하는 원인 모델을 발견했으며, 이는 특정 시각 패턴에 대한 학습된 선호도에 기반한다.
• 랜덤 시드를 조작하고 행동의 변동성을 관찰함으로써, 일부 행동이 무작위성에 민감함을 드러내어 잠재적 실패 모드를 밝혀냈다.
• 원인 추론 엔진의 사용은 순수 관찰 분석에 비해 가설 검증의 신뢰도를 크게 향상시켰다.
• 이 방법론은 저수준의 신경 메커니즘에서 추상화된 인간이 이해할 수 있는 고수준의 에이전트 행동 설명을 생성하여, 안전 평가를 위한 해석 가능성 향상에 기여했다.