[논문 리뷰] Counterfactual Data Augmentation using Locally Factored Dynamics

Silviu Pitis, Elliot Creager외 1명|arXiv (Cornell University)|2020. 07. 06.

Reinforcement Learning in Robotics참고 문헌 89인용 수 11

한 줄 요약

이 논문은 동적 환경 내 국소적으로 분해된 원인 구조를 활용하여 인과적으로 타당한 가짜 경험을 생성하는 Counterfactual Data Augmentation (CoDA)를 제안한다. 주어진 궤적 간에 구성 요소를 교환함으로써 주의 기반 구조 탐색을 통해 국소적으로 독립적인 부분 과정을 식별함으로써, 전방 역동성 모델이 필요 없이 모델에 종속되지 않은 강화학습에서의 샘플 효율성을 향상시킨다. 이는 배치 제약 조건과 목표 조건이 있는 강화학습 설정에서 성능을 크게 향상시킨다.

ABSTRACT

Many dynamic processes, including common scenarios in robotic control and reinforcement learning (RL), involve a set of interacting subprocesses. Though the subprocesses are not independent, their interactions are often sparse, and the dynamics at any given time step can often be decomposed into locally independent causal mechanisms. Such local causal structures can be leveraged to improve the sample efficiency of sequence prediction and off-policy reinforcement learning. We formalize this by introducing local causal models (LCMs), which are induced from a global causal model by conditioning on a subset of the state space. We propose an approach to inferring these structures given an object-oriented state representation, as well as a novel algorithm for Counterfactual Data Augmentation (CoDA). CoDA uses local structures and an experience replay to generate counterfactual experiences that are causally valid in the global model. We find that CoDA significantly improves the performance of RL agents in locally factored tasks, including the batch-constrained and goal-conditioned settings.

연구 동기 및 목표

• 동적 시스템 내 국소적 인과적 독립성을 활용하여 강화학습의 샘플 효율성을 향상시키는 것.
• 학습된 전방 역동성 모델이 필요 없는 가짜 경험을 생성하는 데이터 증강 전략을 개발하는 것.
• 전반적인 인과적 구조에서 유도된 조건부 독립적인 부분 과정으로서 국소적 인과 모델(LCMs)을 형식화하는 것.
• 관측된 궤적과 객체 지향 상태 표현만을 사용하여 효율적이고 인과적으로 타당한 데이터 합성을 가능하게 하는 것.
• CoDA가 다양한 강화학습 벤치마크에서, 특히 배치 제약 조건과 목표 조건이 있는 설정에서 성능 향상을 이끌어내는 것을 입증하는 것.

제안 방법

• 이 방법은 전역 인과 모델을 상태 공간의 부분 집합에 조건화하여 국소적으로 독립적인 부분 과정을 식별하는 국소적 인과 모델(LCMs)을 도입한다.
• 분리된 상태 표현에서 국소적 인과적 구조를 추론하기 위해 주의 기반 아키텍처(SANDy-Transformer)를 사용하여, 각 타임스텝에서 어떤 부분 과정이 인과적으로 독립적인지 식별한다.
• CoDA는 관측된 궤적 쌍 간에 독립적인 부분 과정의 구성 요소(예: 물체 위치 또는 행동)를 교환하여 인과적으로 타당한 전이를 생성한다.
• 이 방법은 전적으로 경험 재생 버퍼 위에서 작동하므로, 어떤 에이전트 아키텍처(비분해형 모델 포함)와도 호환된다.
• 오직 인과적으로 가능성이 있는 조합만 생성되도록 보장하는 국소 조건화된 CoDA의 변형을 제안한다. 이는 비타당하거나 일관되지 않은 전이를 방지한다.
• 합성 및 실제 환경(예: Spriteworld 및 MuJoCo 작업)을 포함한 다양한 환경에서 평가하며, 구조 탐색 및 데이터 증강 효과성에 대한 분석을 수행한다.

실험 결과

연구 질문

• RQ1 관측된 궤적에서 동적 환경 내 국소적으로 분해된 인과적 구조를 신뢰성 있게 추론할 수 있는가?
• RQ2 궤적 간 구성 요소 교환을 통해 생성된 가짜 데이터가 강화학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ3 일반화성과 학습 안정성 측면에서 CoDA는 표준 데이터 증강 및 모델 기반 기준 대비 어떻게 비교되는가?
• RQ4 국소 조건화된 가짜 전이의 사용이 배치 제약 조건과 목표 조건이 있는 강화학습 설정에서 더 나은 성능을 이끌어내는가?
• RQ5 기본 진실 국소 분해 정보에 접근할 경우 역동성 모델 학습에 얼마나 기여하는가? 그리고 CoDA는 이 기능을 근사할 수 있는가?

주요 결과

• CoDA는 모델에 종속되지 않은 강화학습에서 샘플 효율성을 크게 향상시키며, 특히 배치 제약 조건과 목표 조건이 있는 설정에서 표준 데이터 증강 및 기준 방법을 능가한다.
• 실제 전이 2000건과 생성된 가짜 전이 35,000건을 함께 사용한 CoDA는 과적합을 줄이고 검증 성능을 향상시켜, 이 방법의 정규화 효과를 입증한다.
• SANDy-Transformer 모델은 SANDy-Mixture보다 국소적 인과적 구조 식별에서 뛰어난 성능을 보였으며, 이는 더 강한 인도크티브 바이어스 덕분에 물체와 행동 간 상호작용을 더 잘 탐지할 수 있었기 때문이다.
• 간단한 무작위 레이블링 기반 대비 CoDA는 일반화 성능 향상을 보였지만, 학습된 국소적 구조를 사용할 경우 성능 향상이 더욱 두드러져 인과적 타당성의 중요성을 입증한다.
• 실제 데이터만으로 학습된 모델과 비교했을 때, CoDA 증강 데이터로 학습된 역동성 모델은 유사한 다음 상태 예측 오차를 보였음에도 불구하고 더 나은 장기 궤적 생성과 충돌 모델링 성능를 보였다.
• 이 방법은 전방 역동성 모델이 필요 없이 효과적인 데이터 증강을 가능하게 하여, 기존의 강화학습 에이전트 및 아키텍처에 널리 적용 가능하다.