[논문 리뷰] Generalizing Goal-Conditioned Reinforcement Learning with Variational Causal Reasoning

Wenhao Ding, Haohong Lin외 2명|arXiv (Cornell University)|2022. 07. 19.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 논문은 목표 조건부 강화 학습(GCRL)을 향상시키기 위해 인과 그래프를 잠재 변수로 모델링하는 변동형 인과 추론 프레임워크인 GRADER를 제안한다. 이는 간섭 데이터를 사용한 인과 발견과 정책 학습을 번갈아 수행하며, 이론적 성능 보장과 강력한 실험 결과를 바탕으로 데이터 효율적이고 해석 가능하며 일반화 가능한 정책를 달성한다. 이는 아홉 가지 추론 중심 과제에서 검증되었다.

ABSTRACT

As a pivotal component to attaining generalizable solutions in human intelligence, reasoning provides great potential for reinforcement learning (RL) agents' generalization towards varied goals by summarizing part-to-whole arguments and discovering cause-and-effect relations. However, how to discover and represent causalities remains a huge gap that hinders the development of causal RL. In this paper, we augment Goal-Conditioned RL (GCRL) with Causal Graph (CG), a structure built upon the relation between objects and events. We novelly formulate the GCRL problem into variational likelihood maximization with CG as latent variables. To optimize the derived objective, we propose a framework with theoretical performance guarantees that alternates between two steps: using interventional data to estimate the posterior of CG; using CG to learn generalizable models and interpretable policies. Due to the lack of public benchmarks that verify generalization capability under reasoning, we design nine tasks and then empirically show the effectiveness of the proposed method against five baselines on these tasks. Further theoretical analysis shows that our performance improvement is attributed to the virtuous cycle of causal discovery, transition modeling, and policy training, which aligns with the experimental evidence in extensive ablation studies.

연구 동기 및 목표

• 강화 학습에서 인과 추론의 부족, 특히 미지의 목표로의 일반화 부족 문제를 해결하기 위해.
• 환경 상호작용에서 유래한 인과 구조를 발견함으로써 GCRL의 데이터 효율성과 해석 가능성을 향상시키기 위해.
• 인과 발견, 전이 모델링, 정책 학습을 동시에 최적화하는 이론적으로 탄탄한 프레임워크를 개발하기 위해.
• 분포 이탈 하에서 복합적이고 견고한 추론이 요구되는 과제에서 방법의 성능을 평가하기 위해.
• 인과 구조 발견이 지도학습 또는 암시 학습 기반 보다 더 높은 일반화 성능을 제공하는지 입증하기 위해.

제안 방법

• 인과 그래프(CG)를 잠재 변수로 삼아 GCRL을 변동형 우도 최대화 문제로 재정의한다.
• 제약 기반 독립성 검정을 통해 간섭 데이터를 이용해 인과 그래프에 대한 사후 분포를 추정한다.
• 두 단계를 번갈아 수행한다: (1) 간섭 데이터를 이용한 인과 그래프 발견, (2) 추론된 CG에 기반한 정책 및 전이 모델 학습.
• 노드별로 특화된 인코더와 디코더를 갖춘 구조적 신경망 아키텍처를 도입하여 인과 그래프 조건부 상태 전이를 모델링한다.
• 인과 구조 식별을 향상시키기 위해 희박성 정규화와 MINE 기반 상호정보량 추정을 도입한다.
• 약한 가정(충실성, 마르코프 성질) 하에 인과 그래프 식별 가능성과 성능 하한의 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 잠재 변수로 인과 그래프를 사용하는 변동형 추론 프레임워크가 목표 조건부 RL에서 일반화 성능을 향상시키는가?
• RQ2 인과 발견, 전이 모델링, 정책 학습을 공동으로 최적화하는 것이 엔드 투 엔드 RL보다 더 뛰어난 데이터 효율성과 성능을 낳는가?
• RQ3 제안된 방법은 유사 상관관계 이동과 복합 목표 변화 상황에서 어떻게 일반화되는가?
• RQ4 발견된 인과 그래프는 해석 가능하며 에이전트 행동을 설명하는 데 사용될 수 있는가?
• RQ5 반복적 인과 발견이 정책 성공률과 샘플 효율성에 어떤 영향을 미치는가?

주요 결과

• GRADER는 아홉 가지 추론 중심 과제에서 분포 내, 유사성, 복합 일반화 설정 모두에서 다섯 가지 강력한 베이스라인보다 높은 성공률를 기록했다.
• 이전의 점수 기반 방법 대비 인과 발견에 필요한 샘플 수가 적어 데이터 효율성이 뛰어나다.
• 제거 실험을 통해 인과 발견, 전이 모델링, 정책 학습 간 상호작용의 윈윈 사이클이 성능 향상의 핵심 요소임을 확인했다.
• 발견된 인과 그래프는 해석 가능하며 인간이 정의한 구조와 일치하여 에이전트 결정의 사후 분석을 가능하게 한다.
• 이론적 분석을 통해 표준 인과 가정 하에 인과 그래프의 유일한 식별 가능성과 성능 하한이 보장됨을 확인했다.
• 실험 결과는 인과 발견과 정책 학습의 공동 최적화가 제로샷 일반화 성능을 크게 향상시킴을 보여주었다.