[논문 리뷰] Intervention Design for Effective Sim2Real Transfer

Melissa Mozifian, Amy Zhang외 2명|arXiv (Cornell University)|2020. 12. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 8

한 줄 요약

이 논문은 강화학습에서 sim2real 전이 성능을 향상시키기 위해 도메인 랜덤라이제이션과 데이터 증강을 인과적 간섭으로 간주하는 Intervention-Based Invariant Transfer (IBIT)를 소개한다. 비인과적 시각적 변형(예: 배경 텍스처 또는 조명)에 대한 불변성을 강제화함으로써 IBIT는 에이전트가 잡음이 적고 임무에 관련된 표현을 학습하도록 돕는다. 이로 인해 픽셀 관측만을 사용하여 7DoF Jaco 로봇 암에서 제로샷 sim2real 전이를 달성한다.

ABSTRACT

The goal of this work is to address the recent success of domain randomization and data augmentation for the sim2real setting. We explain this success through the lens of causal inference, positioning domain randomization and data augmentation as interventions on the environment which encourage invariance to irrelevant features. Such interventions include visual perturbations that have no effect on reward and dynamics. This encourages the learning algorithm to be robust to these types of variations and learn to attend to the true causal mechanisms for solving the task. This connection leads to two key findings: (1) perturbations to the environment do not have to be realistic, but merely show variation along dimensions that also vary in the real world, and (2) use of an explicit invariance-inducing objective improves generalization in sim2sim and sim2real transfer settings over just data augmentation or domain randomization alone. We demonstrate the capability of our method by performing zero-shot transfer of a robot arm reach task on a 7DoF Jaco arm learning from pixel observations.

연구 동기 및 목표

• 도메인 랜덤라이제이션과 데이터 증강이 sim2real 전이에서 성공하는 이유를 인과 추론의 관점에서 분석하는 것.
• 훈련 중에 관련 없거나 지나치게 민감한 환경적 요소를 왜곡할 경우 발생할 수 있는 부정적 전이의 위험을 해결하는 것.
• 비현실적인 상관관계를 제거하기 위해 명시적인 불변성 목표를 통합함으로써 sim2sim 및 sim2real 설정에서의 일반화를 향상시키는 것.
• 오직 픽셀 관측만을 사용하여 실제 세계의 로봇 조작 작업에 대해 제로샷 sim2real 전이를 실험적으로 보여주는 것.
• 실제 물리적 왜곡이 필요하지 않으며, 오직 실제 세계에서도 변하는 방향으로의 변형만으로도 충분한가를 입증하는 것.

제안 방법

• 잠재 상태 공간과 관측 공간을 갖는 구조적 MDP로 환경를 모델링하며, 관측은 확률적 방출 함수 $ q $ 를 통해 매핑된다.
• 데이터 증강과 도메인 랜덤라이제이션을 관측 매핑 $ q $ 에 대한 간섭으로 간주하며, 특히 렲링 및 포스트-렌더링 구성 요소를 대상으로 한다.
• 도메인 랜덤라이제이션과 시각적 변형에 대한 불변성 목표를 결합한 IBIT를 도입한다. 이는 다중 작업 학습 프레임워크이다.
• 동일한 상태의 다양한 변형에 대해 Q함수가 안정성을 유지하도록 유도하기 위해 기울기 기반 불변성 페널티를 사용한다.
• 표준 이미지 변환(예: 무작위 이동, 색상 왜곡)을 관측 공간에 대한 간섭으로 적용하여 실제 세계의 시각적 변형을 시뮬레이션한다.
• 유사한 이미지의 증강된 뷰에 대해 유사한 Q값을 유도하는 대비 기반 불변성 목표를 사용하여 비인과적 특징에 대한 강건성을 증진시킨다.

실험 결과

연구 질문

• RQ1 어떤 유형의 환경 왜곡이 긍정적인 sim2real 전이를 이끌어내며, 그 이유는 무엇인가?
• RQ2 도메인 랜덤라이제이션과 데이터 증강을 인과 추론 프레임워크 내에서 간섭으로(formally) 이해할 수 있는가?
• RQ3 비인과적 시각적 변형에 대한 명시적 불변성 강제가 표준 데이터 증강 또는 도메인 랜덤라이제이션보다 일반화 성능을 향상시키는가?
• RQ4 왜곡이 물리적으로 현실적이어야 하는가, 아니면 실제 세계에서 변하는 차원에 따라 변형되는 것으로 충분한가?
• RQ5 단일 정책이 시뮬레이션에서 훈련된 후 실제 세계의 로봇 조작 작업에 대해 제로샷으로 일반화 가능한가? (오직 픽셀 관측만을 사용하여)

주요 결과

• 도메인 랜덤라이제이션과 데이터 증강은 현실을 모방하기 때문이 아니라, 비인과적 시각적 특징에 대한 불변성을 유도하기 때문에 효과적이다.
• 왜곡이 물리적으로 현실적이어야 할 필요는 없으며, 오직 실제 세계에서도 변하는 방향으로 변형되는 것만으로도 충분하다.
• 도메인 랜덤라이제이션과 명시적 불변성 목표를 결합한 제안된 IBIT 방법은 sim2sim 및 sim2real 전이 모두에서 표준 데이터 증강 및 도메인 랜덤라이제이션만을 사용하는 것보다 성능이 뛰어나다.
• 이 방법은 오직 픽셀 관측만을 사용하여 7DoF Jaco 로봇 암에서 제로샷 sim2real 전이를 가능하게 하며, 저자들에 따르면 이는 최신 픽셀 기반 강화학습 방법을 사용한 최초의 사례이다.
• 불변성 목표는 비인과적 상관관계에 대한 의존도를 줄여주며, 에이전트가 임무에 관련된 동역학과 보상 구조에 집중하도록 돕는다.
• 실험 결과는 불변성 목표가 비핵심 시각적 구성 요소(예: 배경 텍스처)에 적용된 경우에도 강건성과 일반화 성능을 향상시킨다는 것을 보여준다.