[논문 리뷰] Invariant Causal Prediction for Block MDPs

Amy Zhang, Clare Lyle외 6명|arXiv (Cornell University)|2020. 03. 12.

Machine Learning and Algorithms참고 문헌 31인용 수 37

한 줄 요약

본 논문은 Block MDP에서 모델-무관성 상태 추상화(MISA)를 학습하기 위해 불변 인과 예측(ICP)을 도입하여 환경 간 일반화를 가능하게 하고 이론적 상한을 제공하며, 선형 및 비선형 실험에서 기저 baselines 대비 일반화 성능이 향상됨.

ABSTRACT

Generalization across environments is critical to the successful application of reinforcement learning algorithms to real-world challenges. In this paper, we consider the problem of learning abstractions that generalize in block MDPs, families of environments with a shared latent state space and dynamics structure over that latent space, but varying observations. We leverage tools from causal inference to propose a method of invariant prediction to learn model-irrelevance state abstractions (MISA) that generalize to novel observations in the multi-environment setting. We prove that for certain classes of environments, this approach outputs with high probability a state abstraction corresponding to the causal feature set with respect to the return. We further provide more general bounds on model error and generalization error in the multi-environment setting, in the process showing a connection between causal variable selection and the state abstraction framework for MDPs. We give empirical evidence that our methods work in both linear and nonlinear settings, attaining improved generalization over single- and multi-task baselines.

연구 동기 및 목표

• 강화 학습에서 관찰값이 환경 간에 다양하지만 잠재 역학은 공유되는 경우 견고한 일반화를 동기화한다.
• 환경 개입을 사용한 블록 MDP 프레임워크를 제안하고 형식화하여 인과적이고 작업과 관련된 상태 특성을 식별한다.
• 불변 인과 예측을 활용하여 환경 간 일반화를 위한 모델-무관성 상태 추상화를 도출한다.
• 인과 변수 선택과 상태 추상의 이론적 경계( bounds )를 연결하고 선형 및 비선형 설정에서 실용적 성능을 시연한다.

제안 방법

• 공통 잠재 역학을 공유하고 관찰 구성 요소에 대한 환경별 개입을 도입하는 Block MDP를 형식화한다.
• 불변 인과 예측(ICP)을 적용하여 보상에 대한 인과 조상들을 식별하고 모델-무관성 상태 추상화(MISA)를 구축한다.
• 두 가지 학습 방법을 제공한다: 선형 ICP 기반 변수 선택 방법(Algorithm 1)과 비선형, 그래디언트 기반의 MISA 목표(Algorithm 2)로 불변 위험 최소화(IRM)와 유사하다.
• learned abstractions 과 bisimulation 사이의 일반화 경계를 도출하고 불변 표현 하에서의 Q/값 차이에 대한 경계들을 제시한다.
• 선형 설정에서 ICP가 최소 인과 특성 집합을 복구할 수 있음을 보이고, 비선형 설정에서 다중 환경 전반에서 불변 표현을 최적화한다.

실험 결과

연구 질문

• RQ1 Invariant causal prediction이 Block MDP 환경들에서 반환을 지배하는 최소 인과 특징 집합을 식별할 수 있는가?
• RQ2 ICP를 통해 학습된 모델-무관성 상태 추상화(MISA)가 공유 잠재 역학을 갖는 보지 않은 환경으로 일반화되는가?
• RQ3 다중 환경에서 인과 변수 선택을 상태 추상화의 질과 연결하는 이론적 보장(오류 경계)은 무엇인가?
• RQ4 선형 및 비선형 MISA 방법이 실제로 기저 상관관계에 대한 일반화를 개선하는가?

주요 결과

• 가정 1–3 하에서 보상의 인과 조상에 기반한 상태 추상화는 가족 내 모든 환경에 대한 모델-무관성 추상화를 제공한다.
• 선형 설정에서 ICP는 환경 간 일반화하는 최소 인과 특성 집합을 복구하여 일반화를 해치는 잡음 변수들을 제거한다.
• 비선형 MISA 접근법(그래디언트 기반)은 단일 작업, 다중 작업 기준선 및 IRM에 비해 심층 제어 과제에서 일반화 성능이 향상된다.
• 학습된 추상화와 bisimulation 사이의 이론적 연결과 불변 표현을 사용할 때의 모델 오차 및 Q/값 차이에 대한 경계가 제공된다.
• 집계 샘플 일반화 경계는 학습 환경 전체의 모든 샘플 수에 비례하며 환경 수가 아니라 샘플 수에 따라 확장된다.