[논문 리뷰] ADAIL: Adaptive Adversarial Imitation Learning

Yiren Lu, Jonathan Tompson|arXiv (Cornell University)|2020. 08. 23.

Reinforcement Learning in Robotics참고 문헌 30인용 수 5

한 줄 요약

ADAIL는 동적 임베딩을 조건으로 하고 도메인 적대적 판별자를 사용하여 동적 불변성을 강제함으로써 다양한 역학을 가진 환경 간에 일반화할 수 있도록 정책을 허용하는 새로운 적대적 모방 학습 프레임워크를 제안한다. 이 방법은 단지 10~20개의 전문가 시뮬레이션만으로도 MuJoCo 벤치마크에서 기존의 GAIL 및 감독 기반 베이스라인을 능가하는 전문가 수준의 성능을 달성하며, 원본 환경에서는 전문가 수준의 성능을 보이고, 예측되지 않은 동적 환경으로의 일반화도 효과적으로 수행한다.

ABSTRACT

We present the ADaptive Adversarial Imitation Learning (ADAIL) algorithm for learning adaptive policies that can be transferred between environments of varying dynamics, by imitating a small number of demonstrations collected from a single source domain. This is an important problem in robotic learning because in real world scenarios 1) reward functions are hard to obtain, 2) learned policies from one domain are difficult to deploy in another due to varying source to target domain statistics, 3) collecting expert demonstrations in multiple environments where the dynamics are known and controlled is often infeasible. We address these constraints by building upon recent advances in adversarial imitation learning; we condition our policy on a learned dynamics embedding and we employ a domain-adversarial loss to learn a dynamics-invariant discriminator. The effectiveness of our method is demonstrated on simulated control tasks with varying environment dynamics and the learned adaptive agent outperforms several recent baselines.

연구 동기 및 목표

• 기본 보상 함수가 제공되지 않으며 전문가 시뮬레이션도 하나의 원본 도메인에 국한된 경우, 동적 특성이 다른 환경 간에 모방 정책를 전이하는 문제를 해결하기 위해.
• 훈련 중에 진짜 물리적 파라미터나 보상 함수에 접근할 수 없더라도, 예측되지 않은 동적 환경으로의 정책 일반화를 가능하게 하기 위해.
• 표준 GAIL이 역학 변화 상황에서 실패하는 문제를 해결하기 위해, 판별자가 행동 품질이 아닌 동적 특성에 의존하는 문제를 해결하기 위해.
• 적대적 훈련을 통해 동적 불변 표현을 학습하고, 강력한 정책 일반화를 가능하게 하는 방법을 개발하기 위해.

제안 방법

• 정책이 새로운 동적 환경에 적응할 수 있도록, 지도학습 또는 변동형 오토인코더(VAE) 방법을 통해 학습된 동적 임베딩에 조건을 줌.
• 판별자가 동적 특성 신호를 무시하고 행동 유사성에 집중하도록 하기 위해, 판별기 내부에 기울기 반전층(GRL)을 도입함.
• 환경의 동적 특성에 영향을 받지 않도록 하면서 전문가와 모의자 경로를 구분하도록 판별기를 훈련시키며, 도메인 적대적 손실을 사용함.
• 판별기의 출력을 강화학습을 통해 정책을 향상시키는 보상 신호로 사용함으로써, 명시적 보상 설계 없이도 모방 학습을 가능하게 함.
• 정책과 판별기를 적대적 루프에서 동시에 훈련함. 이때 정책는 판별기를 속이려 하고, 판별기는 동적 특성에 불변성을 유지하려 함.
• 지속적인 동적 변화가 있는 MuJoCo 환경(예: 중력, 마찰 계수 등)에서 테스트하며, 진짜 동적 임베딩과 예측된 동적 임베딩을 모두 사용함.

실험 결과

연구 질문

• RQ1 제한된 전문가 시뮬레이션만으로 하나의 원본 환경에서 훈련된 정책가 예측되지 않은 동적 특성을 가진 환경으로 일반화할 수 있는가?
• RQ2 동적 불변 판별기는 판별자가 행동 품질이 아닌 동적 특성에 의존하는 것을 얼마나 효과적으로 방지하는가?
• RQ3 학습된 동적 임베딩에 기반해 정책를 조건화하는 것이 예측되지 않은 동적 환경으로의 제로샷 일반화를 향상시키는가?
• RQ4 VAE를 통한 비지도 동적 임베딩과 지도 학습 기반 임베딩 간의 정책 일반화 및 강건성에서의 성능 비교는 어떠한가?
• RQ5 ADAIL은 예측되지 않은 동적 환경에서 GAIL의 동적 랜덤화 및 감독 기반 베이스라인을 능가할 수 있는가?

주요 결과

• ADAIL은 원본 환경에서 전문가 수준의 성능(예: HalfCheetah: 4283.20 ± 1569.31)을 달성하였고, 예측되지 않은 동적 환경으로의 일반화도 효과적으로 수행되어, 동적 랜덤화를 적용한 GAIL(3182.72 ± 1753.86)을 능가함.
• Ant 환경에서는 ADAIL이 평균 수익 2119.90 ± 2534.03을 기록하여, GAIL-rand(1579.36 ± 2082.10)와 PPO 전문가(1972.06 ± 2630.20)를 모두 초월함.
• 원본 환경에 접근할 수 없는 상황(블랙아웃 영역)에서도 ADAIL은 진짜 동적 파라미터를 사용했을 때도 합리적인 일반화 성능를 보였으며, 동적 불변 판별기의 강건성을 입증함.
• 비지도 VAE-ADAIL 변형은 레이블이 없는 동적 정보로도 뛰어난 성능를 기록하여, 학습된 잠재 공간이 의미 있는 동적 정보를 포착하고 있음을 확인함.
• 블랙아웃 영역에서는 동적 추정의 사후 불확실성이 증가하여 VAE-ADAIL의 성능에 악영향을 미쳤으며, 이는 정확한 동적 임베딩이 일반화에 중요함을 확인함.
• ADAIL는 훈련 중에 진짜 동적 파라미터나 보상 함수에 접근할 수 없음에도 불구하고, 많은 예측되지 않은 동적 환경에서 UP-true 베이스라인(진짜 동적 파라미터와 보상 함수를 사용)과 동등하거나 이를 초월하는 성능를 기록함.