[논문 리뷰] Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning

Nan Rosemary Ke, Aniket Didolkar외 8명|arXiv (Cornell University)|2021. 07. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 5

한 줄 요약

이 논문은 시각적 모델기반 강화학습에서 인과 발견을 평가하기 위한 체계적인 벤치마크 세트를 소개한다. 여기서 에이전트는 픽셀 관측치로부터 고수준의 인과 변수를 학습한다. 저자들은 모듈러 신경망 아키텍처가 표준 오토에코더나 VAE에 비해 특히 인과 그래프 복잡도가 다양할 경우 인과 구조 유도에 있어 뚜렷한 향상을 이룬다는 것을 입증한다.

ABSTRACT

Inducing causal relationships from observations is a classic problem in machine learning. Most work in causality starts from the premise that the causal variables themselves are observed. However, for AI agents such as robots trying to make sense of their environment, the only observables are low-level variables like pixels in images. To generalize well, an agent must induce high-level variables, particularly those which are causal or are affected by causal variables. A central goal for AI and causality is thus the joint discovery of abstract representations and causal structure. However, we note that existing environments for studying causal induction are poorly suited for this objective because they have complicated task-specific causal graphs which are impossible to manipulate parametrically (e.g., number of nodes, sparsity, causal chain length, etc.). In this work, our goal is to facilitate research in learning representations of high-level variables as well as causal structures among them. In order to systematically probe the ability of methods to identify these variables and structures, we design a suite of benchmarking RL environments. We evaluate various representation learning algorithms from the literature and find that explicitly incorporating structure and modularity in models can help causal induction in model-based reinforcement learning.

연구 동기 및 목표

• 시각적 모델기반 RL에서 인과 유도를 평가하기 위한 체계적이고 조절 가능한 환경의 부족을 해결한다.
• 기존의 강화학습 환경들이 고정되어 있거나 복잡하거나 얽히거나 얽히지 않은 인과적 구조를 지니고 있어 인과 학습을 탐색하는 데 부적합한 한계를 극복한다.
• 인과 그래프의 핵심 성질(예: 희박성, 크기, 체인 길이, 관측 가능성 등)을 체계적으로 변화시킬 수 있는 모듈러 벤치마크 플랫폼을 제공한다.
• 다양한 표현 학습 아키텍처가 원시 시각 관측치에서 인과 구조를 어떻게 발견하는지 평가한다.
• H@1, MRR 및 재구성 오차를 포함한 표준화된 평가 지표를 수립하여 인과 유도의 진전을 측정한다.

제안 방법

• 조절 가능한 진짜 인과 그래프를 가진 맞춤형 강화학습 환경 세트를 설계하며, 체인, 전체, 콜라이더 구조를 포함한다.
• 노드 수, 희박성, 변수가 관측 가능한지 또는 잠재적인지와 같은 파rameter를 제어하여 인과 학습의 특정 측면을 분리한다.
• NLL 손실을 사용하여 픽셀 관측치에서 여러 표현 학습 모델(AE, VAE, 모듈러 아키텍처, GNN)을 훈련한다.
• 간섭 기반 데이터(행동를 간섭으로 사용)를 활용해 인과 역학을 시뮬레이션하고, 모델 성능을 인과 구조 복구 능력으로 평가한다.
• 1-, 5-, 10단계 예측 작업 전반에서 세 가지 지표인 순위 1위 성공률(H@1), 평균 역수 순위(MRR), 재구성 오차를 사용해 모델을 평가한다.
• 인과 발견을 향상시키기 위해 구조적 인도적 편향을 명시적으로 코딩한 모듈러 아키텍처를 도입한다.

실험 결과

연구 질문

• RQ1 통제된 환경에서 다양한 표현 학습 아키텍처는 원시 픽셀 관측치에서 인과 구조를 어떻게 발견하는가?
• RQ2 예를 들어 모듈러성 같은 구조적 인도적 편향을 통합할 경우, 시각적 MBRL에서 인과 발견은 어느 정도 향상되는가?
• RQ3 인과 그래프 성질의 변화(예: 희박성, 체인 길이, 콜라이더 구조 등)는 인과 유도 방법의 성능에 어떤 영향을 미치는가?
• RQ4 H@1 및 MRR와 같은 표준화된 평가 지표는 시각적 데이터에서 인과 구조 발견의 진전을 신뢰성 있게 측정할 수 있는가?
• RQ5 관측되지 않은 혼란 변수나 콜라이더 구조가 존재할 경우, 모델이 정확한 인과 그래프를 복구하는 능력에 어떤 영향을 미치는가?

주요 결과

• 모듈러 아키텍처는 체인 구조에서 1단계 예측에서 가장 높은 H@1(16.863 ± 0.135)과 MRR(23.047 ± 0.027)를 기록했으며, AE(17.62 ± 0.192, 23.85 ± 0.065)와 VAE(9.847 ± 0.572, 15.407 ± 0.559)를 모두 앞섰다.
• 콜라이더 구조에서는 모듈러 모델이 10단계 예측에서 성공률 0.697 ± 0.075를 기록했으며, GNN(0.35 ± 0.028)과 VAE(0.02 ± 0.0)를 크게 앞섰다.
• GNN 모델은 모든 구조에서 성능이 열악했으며, 대부분의 설정에서 MRR 값이 6.0 이하였고, 이는 시각 입력에서 인과 구조 복구 능력이 제한적임을 시사한다.
• AE와 VAE 모델은 재구성 오차는 높았지만 인과 구조 복구 능력은 약했으며, 대부분의 설정에서 H@1 값이 5.0 이하였고, 이는 인과 관계로의 일반화 능력이 떨어짐을 시사한다.
• 체인 구조에서 1단계 예측의 H@1과 성공률 사이에 정적 상관관계를 관찰했지만, 이 관계는 장기 예측에서는 약화되었다.
• 모듈러 아키텍처는 재구성과 인과 구조 복구 양 측면에서 다른 아키텍처를 일관되게 앞섰으며, 특히 전체 및 콜라이더와 같은 복잡한 그래프에서 효과적이었고, 이는 인과 발견을 위한 효과적인 인도적 편향임을 시사한다.