[논문 리뷰] Domain Adaptation In Reinforcement Learning Via Latent Unified State Representation

Jinwei Xing, Takashi Nagata외 4명|arXiv (Cornell University)|2021. 02. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 5

한 줄 요약

이 논문은 잠재 공간에서 도메인 일반성 특징와 도메인 특화 특징를 분리함으로써 잠재 통합 상태 표현(LUSR)을 학습하는 이단계 강화학습 프레임워크를 제안한다. 도메인 일반성 잠재 표현만을 사용해 소스 도메인에서 훈련함으로써, 이 방법은 기존 접근법에 비해 훨씬 뛰어난 일반화 성능과 훈련 효율성을 바탕으로 미사전 학습된 타겟 도메인으로의 정책 전이를 가능하게 한다.

ABSTRACT

Despite the recent success of deep reinforcement learning (RL), domain adaptation remains an open problem. Although the generalization ability of RL agents is critical for the real-world applicability of Deep RL, zero-shot policy transfer is still a challenging problem since even minor visual changes could make the trained agent completely fail in the new task. To address this issue, we propose a two-stage RL agent that first learns a latent unified state representation (LUSR) which is consistent across multiple domains in the first stage, and then do RL training in one source domain based on LUSR in the second stage. The cross-domain consistency of LUSR allows the policy acquired from the source domain to generalize to other target domains without extra training. We first demonstrate our approach in variants of CarRacing games with customized manipulations, and then verify it in CARLA, an autonomous driving simulator with more complex and realistic visual observations. Our results show that this approach can achieve state-of-the-art domain adaptation performance in related RL tasks and outperforms prior approaches based on latent-representation based RL and image-to-image translation.

연구 동기 및 목표

• 시각적 도메인이 약간 다를 경우 딥 강화학습에서의 미사전 학습 정책 전이 문제를 해결한다.
• 다양한 소스 도메인(도메인 랜덤화)에 의존하거나 계산 비용이 큰 이미지 번역(GAN)에 의존하는 기존 도메인 적응 방법의 한계를 극복한다.
• 도메인 특화 변형을 제거하는 통합된 잠재 상태 표현을 학습함으로써 일반화 성능을 향상시킨다.
• 재훈련 없이도 실시간 정책 전이가 가능한 효율적인 방법을 도메인 일반성 잠재 표현을 활용해 구현한다.
• 간단한(CarRacing) 및 복잡하고 현실적인(CARLA) 환경에서 고해상도 시각 관측을 포함한 검증을 수행한다.

제안 방법

• 분리 정규화를 적용한 변동형 오토인코더(VAE)를 사용해 잠재 상태 표현을 도메인 일반성 및 도메인 특화 성분으로 분해한다.
• 다양한 도메인의 관측 이미지에서 잠재 표현을 추출하기 위한 공통 인코더를 훈련하고, 도메인 특화 및 도메인 일반 성분을 위한 별도의 디코더를 사용한다.
• 소스 도메인에서 강화학습 훈련 중에는 도메인 일반성 표현만 상태 표현으로 사용한다.
• LUSR를 사용해 소스 도메인에서 표준 딥 RL 알고리즘(SAC 등)을 적용해 정책 학습을 수행한다.
• 추가 미세조정 없이, 타겟 도메인에서 훈련된 정책의 미사전 학습 평가를 수행한다.
• t-SNE 시각화와 선명도 맵을 활용해 학습된 표현의 분리성과 해석 가능성 검증

실험 결과

연구 질문

• RQ1 분리된 잠재 상태 표현은 시각적으로 다른 도메인 간 강화학습에서의 미사전 학습 정책 전이 성능을 향상시킬 수 있는가?
• RQ2 일반화 성능 및 추론 효율성 측면에서 LUSR는 이미지 간 번역 및 잠재 표현 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ3 복잡한 시각 환경인 CARLA와 같은 환경에서 도메인 특화 변형을 제거하는 것이 정책의 강건성 향상에 얼마나 기여하는가?
• RQ4 도메인 일반성 및 도메인 특화 특징의 분리가 정책의 더 해석 가능하고 중심화된 주의 집중을 이끌어내는가?
• RQ5 소스 도메인에서 도메인 랜덤화 없이 훈련된 경우에도 LUSR는 타겟 도메인에서 높은 성능을 유지할 수 있는가?

주요 결과

• LUSR 기반 에이전트는 CarRacing 및 CARLA 환경 모두에서 최신 기술 수준의 미사전 학습 도메인 적응 성능을 달성했으며, 도메인 랜덤화, 이미지 번역(CycleGAN), VAE 기반 기준선보다 뛰어난 성능을 보였다.
• CARLA 환경에서 LUSR는 어떤 미세조정 없이도 두 타겟 도메인 모두에서 최고 점수를 기록했고, VAE-Embedding 및 CURL은 성능 저하와 느린 주행 행동을 보였다.
• t-SNE 시각화 결과 도메인 일반성 잠재 표현은 도메인 간 유사하게 나타났고, 도메인 특화 표현은 잘 분리되어 있어 잠재 공간의 분리성 검증됨.
• LUSR를 사용해 훈련된 정책는 도로 중심에 집중된 중심화된 주의를 보였으며, 다른 방법 대비 임무 관련 특징에 더 집중함을 시사함.
• CARLA에서 LUSR는 DARLA를 초월했으며, 이는 β-VAE에서 높은 β 값으로 인한 과도한 분리로 인해 복잡한 시각 작업에서 정보 손실가 발생할 수 있음을 시사함.
• CURL은 도메인 레이블 기반 t-SNE 클러스터링 결과 잠재 표현에 강한 도메인 특화 특징가 존재함을 확인해 일반화 실패 원인 규명됨.