[논문 리뷰] Robust agents learn causal world models

Jonathan G. Richens, Tom Everitt|arXiv (Cornell University)|2024. 02. 16.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 데이터 생성 과정의 대략적 인과 모델을 학습하는 것이 광범위한 분포 변화 하에서 견고한 적응에 필요하고 충분하며, 이것이 적응 정책에서 인과 발견을 가능하게 한다는 것을 증명한다.

ABSTRACT

It has long been hypothesised that causal reasoning plays a fundamental role in robust and general intelligence. However, it is not known if agents must learn causal models in order to generalise to new domains, or if other inductive biases are sufficient. We answer this question, showing that any agent capable of satisfying a regret bound under a large set of distributional shifts must have learned an approximate causal model of the data generating process, which converges to the true causal model for optimal agents. We discuss the implications of this result for several research areas including transfer learning and causal inference.

연구 동기 및 목표

• 강인한 일반 지능과 도메인 적응에서 인과 추론의 역할을 동기 부여한다.
• 분포 변화 하에서의 후회-제한 적응이 인과 모델 학습을 필요로 함을 시사한다.
• 개입 하에서 강인한 정책을 달성하는 것과 인과 구조를 학습하는 것 사이의 형식적 등가를 제시한다.
• 전이 학습, 인과 표현 학습 및 인과 발견에 대한 시사점을 논의한다.

제안 방법

• 의사결정 과제를 인과 영향도 다이어그램(CID)과 인과 베이지안 네트워크(CBN)을 사용하여 모델링한다.
• 도메인 변화을 모델링하기 위해 지역 개입과 지역 개입의 혼합을 정의한다.
• 전 shifted domain에서 최적 정책으로부터 효용의 선조에 대한 인과 그래프와 공동분포의 식별 가능성을 입증한다(정리 1).
• 최적성을 후회-제한 정책으로 완화하고 오차 경계와 함께 근사적 인과 모델 식별을 보인다(정리 2).
• 개입 하에서 근사적 인과 모델이 후회-제한 정책을 가능하게 함을 보여 충분성을 입증한다(정리 3).
• 전이 학습, 적응 에이전트 및 인과 추론에 대한 해석을 논의하고 정책 반응을 이용한 인과 발견 접근법의 개요를 제시한다.

(a) Error rate for learned DAG v.s. regret bound

실험 결과

연구 질문

• RQ1 분포 변화에 대한 강인한 적응이 환경의 인과 모델 학습을 필요로 하는가?
• RQ2 도메인 변화 하의 최적 정책이 근본적인 인과 그래프와 분포를 식별할 수 있는가?
• RQ3 정확히 최적이 아니고(후회-제한) 정책인 경우에도 근사적 인과 모델을 여전히 복구할 수 있는가?
• RQ4 다양한 개입에서 후회-제한 정책을 달성하기에 인과 세계 모델 학습이 충분한가?
• RQ5 이러한 결과가 전이 학습, 인과 표현 학습, 인과 발견에 주는 시사점은 무엇인가?

주요 결과

• 주어진 가정들을 만족하는 거의 모든 인과 영향도(CID)에서, 지역 개입의 혼합에 걸친 최적 정책은 인과 그래프와 효용의 선조에 대한 결합 분포를 식별한다(정리 1).
• 후회-제한 정책으로부터 근사 인과 모델을 식별할 수 있으며 매개변수 추정 오차는 후회 수준과 선형으로 증가한다(정리 2).
• 근사 인과 모델은 지역 개입하에서 후회-제한 정책을 식별하는 데 충분하다(정리 3).
• 따라서 광범위한 도메인 변화에 대해 견고한 적응을 위해 인과 모델을 학습하는 것은 필요하고 충분하다.
• 결과는 도메인 적응, 인과 표현 학습, 인과 발견을 연결하며, 여러 도메인에서 학습된 에이전트가 인과 세계 모델을 학습하고 더 넓은 작업 일반화를 가능하게 함을 시사한다.

(b) Mean error for $P(x,y)$ v.s. regret bound