[논문 리뷰] Mutual Alignment Transfer Learning

Markus Wulfmeier, Ingmar Posner외 1명|arXiv (Cornell University)|2017. 07. 25.

Reinforcement Learning in Robotics참고 문헌 28인용 수 19

한 줄 요약

이 논문은 상호 보정 전이 학습(MATL)을 제안하며, 시뮬레이션과 실제 로봇 에이전트를 함께 훈련시켜 상태 방문 분포를 정렬함으로써 실제 로봇에서 강화학습을 가속화하는 방법이다. 이 방법은 보상이 희박하거나 동역학적 차이가 큰 상황에서 표본 효율성을 향상시키며, 직접 전이나 미세조정보다 우수한 성능을 보이며, 특히 시뮬레이션 정책이 과적합되거나 동역학적 차이가 클 경우에 유의미한 성능 향상을 이룬다.

ABSTRACT

Training robots for operation in the real world is a complex, time consuming and potentially expensive task. Despite significant success of reinforcement learning in games and simulations, research in real robot applications has not been able to match similar progress. While sample complexity can be reduced by training policies in simulation, such policies can perform sub-optimally on the real platform given imperfect calibration of model dynamics. We present an approach -- supplemental to fine tuning on the real robot -- to further benefit from parallel access to a simulator during training and reduce sample requirements on the real robot. The developed approach harnesses auxiliary rewards to guide the exploration for the real world agent based on the proficiency of the agent in simulation and vice versa. In this context, we demonstrate empirically that the reciprocal alignment for both agents provides further benefit as the agent in simulation can adjust to optimize its behaviour for states commonly visited by the real-world agent.

연구 동기 및 목표

• 실제 로봇 정책 학습 시 느리고 비싼 실제 상호작용으로 인한 높은 표본 복잡도 문제를 해결하기 위해.
• 시뮬레이션과 실제 세계의 동역학이 크게 다를 경우 직접 정책 전이와 미세조정의 한계를 극복하기 위해.
• 표준 강화학습이 효과적으로 탐색을 수행하지 못하는 보상이 희박한 환경에서 표본 효율성을 향상시키기 위해.
• 모르는 동역학적 차이가 존재하는 서로 다른 시뮬레이션 엔진 간에 안정적이고 효과적인 전이를 가능하게 하기 위해.
• 양쪽 에이전트가 상태 분포를 상호 정렬함으로써 상호 이점을 얻을 수 있는 방법을 개발하기 위해.

제안 방법

• 실제 로봇과 시뮬레이션 에이전트를 동시에 훈련시키며, 환경 보상과 보조 정렬 보상의 두 가지를 최적화한다.
• 실제 로봇과 시뮬레이터의 상태 시퀀스를 구분하는 적대적 판별기(discriminator)를 사용하여, 양쪽 에이전트가 구분 불가능한 상태 궤적을 생성하도록 유도한다.
• 훈련 안정화와 정렬 향상을 위해 워샤프-제너레이티브 적대적 네트워크(WGAN)-기반 혼란 손실을 활용해 보조 보상을 수식화한다.
• 학습 가능한 가중치 하이퍼파rameter λ를 사용해 보조 정렬 보상을 정책 최적화 목표에 통합한다.
• 시뮬레이션 정책이 실제 에이전트의 탐색을 도와주는 상태를 방문함으로써 실제 세계 탐색을 유도하고, 동시에 실제 에이전트의 행동이 시뮬레이션 정책의 강건성을 향상시킨다.
• 미세조정의 보완으로서, 실제 로봇에서 더 나은 초기화와 더 빠른 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시뮬레이션과 실제 세계의 에이전트 간에 적대적인 상태 분포 정렬이 실제 로봇 강화학습에서 표본 효율성을 향상시키는가?
• RQ2 양방향 정렬(양쪽 에이전트가 상호 탐색을 유도함)이 고동역학적 차이가 큰 상황에서 단방향 정렬이나 직접 전이보다 우수한가?
• RQ3 환경 보상이 희박하거나 정보가 부족할 경우, 표준 강화학습이 효과적으로 탐색을 수행하지 못할 때도 이 방법이 성공할 수 있는가?
• RQ4 알 수 없는 동역학적 차이가 존재하는 서로 다른 시뮬레이션 엔진 간 전이 시 MATL의 성능은 어떠한가?
• RQ5 MATL은 시뮬레이션 정책의 과적합이 실제 로봇에서의 미세조정 성능을 떨어뜨리는 부정적 영향을 완화하는가?

주요 결과

• MATL는 보상이 희박하거나 정보가 부족한 환경에서 표준 강화학습이 효과적으로 탐색을 수행하지 못하는 상황에서 실제 로봇에서 학습을 크게 가속화한다.
• MuJoCo에서 DART로의 전이와 같은 서로 다른 시뮬레이션 엔진 간 전이에서도, MATL는 직접 전이와 미세조정보다 우수한 성능을 보이며, 과적합된 시뮬레이션 정책으로 인해 미세조정 성능이 랜덤 초기화보다도 열 劣할 때조차도 성능 향상을 이룬다.
• 상호 정렬은 모든 운동 제어 작업에서 일관되게 성능 향상을 이끌었으며, MATL는 단방향 정렬(MATLu)과 독립적 훈련보다 높은 최종 성능을 달성했다.
• 이 방법은 마찰, 감쇠, 접촉 모델링의 차이를 포함한 심각한 동역학적 차이에 대해서도 강건하며, 이로 인해 직접 전이가 실패하는 경우에도 성능을 유지한다.
• 보조 정렬 보상은 실제 에이전트에 환경 보상이 제공되지 않을 때도 효과적인 탐색을 가능하게 한다.
• 적대적 WGAN 기반 손실 수식은 훈련을 안정화시키며, 원래 GAN 손실보다 더 나은 정렬 성능을 이끌어내어 성능 향상을 이룬다.