[논문 리뷰] An Imitation from Observation Approach to Transfer Learning with Dynamics Mismatch

Siddharth Desai, Ishan Durugkar외 4명|arXiv (Cornell University)|2020. 08. 04.

Reinforcement Learning in Robotics참고 문헌 45인용 수 15

한 줄 요약

이 논문은 시뮬레이터를 실제 세계의 동역학에 기반시키는 방식으로, 시뮬레이션에서 실제 환경으로의 전이 성능을 향상시키는 새로운 적대적 모방 학습 기반 관찰 방법인 GARAT을 제안한다. 기반화된 동작 변환을 모방 학습 기반 관찰 문제로 재정의함으로써, GARAT은 오직 상태 시퀀스의 예시만을 사용하여 동역학 적응 정책을 학습하며, 최소한의 실제 세계 상호작용으로도 뛰어난 전이 성능를 달성한다. 이는 Minitaur 도메인에서 1,000개의 실제 전이 데이터만으로도 기존 방법인 GAT에 비해 최적 성능의 약 80%에 이를 정도로 뛰어난 성능을 기록한다.

ABSTRACT

We examine the problem of transferring a policy learned in a source environment to a target environment with different dynamics, particularly in the case where it is critical to reduce the amount of interaction with the target environment during learning. This problem is particularly important in sim-to-real transfer because simulators inevitably model real-world dynamics imperfectly. In this paper, we show that one existing solution to this transfer problem - grounded action transformation - is closely related to the problem of imitation from observation (IfO): learning behaviors that mimic the observations of behavior demonstrations. After establishing this relationship, we hypothesize that recent state-of-the-art approaches from the IfO literature can be effectively repurposed for grounded transfer learning.To validate our hypothesis we derive a new algorithm - generative adversarial reinforced action transformation (GARAT) - based on adversarial imitation from observation techniques. We run experiments in several domains with mismatched dynamics, and find that agents trained with GARAT achieve higher returns in the target environment compared to existing black-box transfer methods

연구 동기 및 목표

• 실제 세계 상호작용이 비용이 많이 들기 때문에, 시뮬레이터에서 실제 환경으로 정책을 전이할 때 발생하는 동역학 불일치 문제를 해결하기 위해.
• 최신의 관찰 기반 모방 학습(IfO) 기법이 전이 학습에서 시뮬레이터 기반화에 재사용될 수 있는지 조사하기 위해.
• 원천 환경와 대상 환경 간의 분포 불일치를 줄이기 위해 동작 변환 정책을 학습하는 새로운 알고리즘을 개발하기 위해.
• 적대적 모방 학습 기법이 시뮬레이션에서 실제 환경으로의 전이 시나리오에서 기반화와 전이 효율성을 향상시킬 수 있는지 검증하기 위해.

제안 방법

• 논문은 기반화된 동작 변환(GAT)을 관찰 기반 모방 학습(IfO) 문제로 재정의하며, 이때 대상 환경의 동작은 관찰되지 않고 상태 시퀀스만 관찰된다.
• 생성적 적대적 네트워크(GANs)에서 영감을 얻은 분포 일치 목표를 도입하여, 원천 환경와 대상 환경의 상태 분포를 일치시킨다.
• 제안된 GARAT 알고리즘은 원천 환경의 동작을 변환하여, 그 결과로 얻어지는 상태 시퀀스가 대상 환경의 시퀀스와 일치하도록 정책을 학습한다.
• 이 방법은 실제 대상 환경의 시퀀스와 생성된 원천 환경 시퀀스를 구별하는 판별기(discriminator)를 사용하여 적대적 학습을 가능하게 한다.
• 정책은 강화 학습을 통해 판별기가 실제 시퀀스와 생성된 시퀀스를 구별하는 능력을 최소화하도록 최적화된다.
• 이 방법은 효과적인 동작 변환 정책을 학습하기 위해 소량의 실제 세계 전이 데이터만을 요구한다.

실험 결과

연구 질문

• RQ1 기반화된 동작 변환은 관찰 기반 모방 학습 문제로(formally) 재해석될 수 있는가?
• RQ2 최신의 적대적 관찰 기반 모방 학습 기법이 시뮬레이션에서 실제 환경으로의 전이에서 동역학 불일치를 효과적으로 줄이기 위해 재사용될 수 있는가?
• RQ3 제안된 GARAT 알고리즘은 기존의 블랙박스 전이 방법보다 원천 환경의 기반화 수준을 더 높게 달성하는가?
• RQ4 향상된 기반화가 대상 환경에서의 정책 성능 향상에 얼마나 기여하는가?

주요 결과

• GARAT은 원천 환경와 대상 환경 간의 분포 불일치를 크게 줄이며, GAT에 비해 기반화 품질에서 뛰어난 성능을 보였다.
• 중력 값을 두 배로 늘인 MuJoCo Ant 도메인에서 GARAT은 고성능을 달성한 정책을 성공적으로 전이했고, 기준선 방법들은 실패했다.
• 고정밀도 Minitaur 도메인에서는 GARAT이 단지 1,000개의 실제 전이 데이터만으로 최적의 목표 성능의 80% 이상을 달성했으며, GAT는 10배 많은 데이터를 사용해도 최대 50%에 그쳤다.
• Walker와 Ant 환경에서 GARAT은 GAT 및 기타 블랙박스 전이 기법을 포함한 모든 기준선 방법보다 높은 수익을 기록했다.
• 이 방법은 고차원 상태 공간과 복잡한 동역학을 가진 다양한 도메인에서도 강력한 전이 성능를 보였다.
• 결과적으로 적대적 관찰 기반 모방 학습 기법을 활용할 경우 더 효과적인 기반화와 더 나은 시뮬레이션에서 실제 환경으로의 전이 성능 향상이 이뤄진다는 것이 확인되었다.