[논문 리뷰] Adversarial Soft Advantage Fitting: Imitation Learning without Policy Optimization

Paul Barde, Julien Le Roy외 4명|arXiv (Cornell University)|2020. 06. 23.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 4

한 줄 요약

이 논문은 정책 최적화가 필요 없도록 하는 새로운 암시 학습 프레임워크인 적대적 소프트 애벌런스 피팅(ASAF)을 제안한다. 이는 이전 정책과 학습 가능한 정책에 조건이 붙은 구조화된 판별자(디스criminator)를 훈련시켜, 판별자의 최적화가 직접 최적의 생성자 정책을 도출하도록 한다. 이로 인해 훈련 복잡도가 절반으로 줄어들며, 이산 및 연속 제어 과제에서 최신 기술 수준의 성능을 유지하거나 초월한다.

ABSTRACT

Adversarial Imitation Learning alternates between learning a discriminator -- which tells apart expert's demonstrations from generated ones -- and a generator's policy to produce trajectories that can fool this discriminator. This alternated optimization is known to be delicate in practice since it compounds unstable adversarial training with brittle and sample-inefficient reinforcement learning. We propose to remove the burden of the policy optimization steps by leveraging a novel discriminator formulation. Specifically, our discriminator is explicitly conditioned on two policies: the one from the previous generator's iteration and a learnable policy. When optimized, this discriminator directly learns the optimal generator's policy. Consequently, our discriminator's update solves the generator's optimization problem for free: learning a policy that imitates the expert does not require an additional optimization loop. This formulation effectively cuts by half the implementation and computational burden of Adversarial Imitation Learning algorithms by removing the Reinforcement Learning phase altogether. We show on a variety of tasks that our simpler approach is competitive to prevalent Imitation Learning methods.

연구 동기 및 목표

• 계산 비용이 많이 들고 불안정한 정책 최적화 루프를 제거함으로써 적대적 암시 학습을 단순화하기 위해.
• 기존 AIL 방법에서 번갈아가며 시행하는 적대적 훈련과 강화 학습의 본질적인 불안정성과 샘플 비효율성 문제를 해결하기 위해.
• 판별자와 생성자 정책을 동시에 학습시켜 별도의 강화 학습 업데이트가 필요 없도록 하는 방법을 개발하기 위해.
• 제안된 방법이 구현 및 계산 오버헤드를 크게 줄이며 경쟁 가능한 성능을 달성할 수 있음을 보여주기 위해.
• 다양한 궤적 길이에 걸쳐 일반화 가능한지, 즉 전역 궤적 설정과 전이 단위 학습 설정 모두에서 성능을 보여주기 위해.

제안 방법

• 이전 생성자 정책과 학습 가능한 정책에 명시적으로 조건이 붙은 구조화된 판별자를 제안한다.
• 판별자가 단일 파rameterized 정책를 사용하여 전문가 궤적과 생성된 궤적의 확률을 추정하는 최대 엔트로피 설정을 사용한다.
• Finn 등이 제안한 최적의 판별자 형태를 활용하여, 판별자 훈련 중에 생성자 최적화 문제를 암묵적으로 해결한다.
• 판별자를 몇 에포크 동안 훈련한 후, 내부 정책 모델을 그대로 생성자 정책으로 사용하여 강화 학습을 완전히 생략한다.
• 궤적을 크기 w의 슬라이딩 윈도우로 처리하는 ASAF-w라는 변형을 도입하여 전이 단위 암시 학습을 가능하게 한다.
• 정책과 판별자 모두에 공통된 신경망 아키텍처를 사용하며, 컨볼루션 및 완전 연결 계층을 거친 후 최종 예측을 위해 MLP를 사용한다.

실험 결과

연구 질문

• RQ1 정책 최적화 루프를 제거함으로써 적대적 암시 학습을 단순화할 수 있을까? 성능 저하 없이 가능할까?
• RQ2 이전 정책과 학습 가능한 정책에 모두 조건이 붙은 판별자가 자연스럽게 최적의 생성자 정책을 회복할 수 있을까?
• RQ3 제안된 방법이 별도의 강화 학습 업데이트 없이도 다양한 제어 과제(이산 및 연속 모두)에서 경쟁 가능한 성능을 달성할 수 있을까?
• RQ4 전체 궤적과 전이 단위 학습 모두에서 다양한 궤적 길이에 대해 성능이 어떻게 스케일링되는가?
• RQ5 기존의 번갈아가며 강화 학습과 판별자 업데이트를 수행하는 표준 AIL 접근 방식보다 더 샘플 효율적이고 안정적인가?

주요 결과

• ASAF는 Hopper, Walker2D, HalfCheetah, Ant와 같은 다양한 연속 제어 과제에서 GAIL + PPO, AIRL + PPO, SQIL과 같은 최신 기술 수준의 암시 학습 방법과 경쟁하는 성능을 달성한다.
• MuJoCo 환경에서 ASAF는 BC와 SQIL을 능가하며, AIRL + PPO와 GAIL + PPO의 평균 수익과 동일하거나 이를 초월한다.
• Pommerman 랜덤 태그 환경에서 ASAF-32는 150개의 전문가 궤적만으로도 평균 수익 1.0을 기록하여 복잡한 부분 관측 환경에서도 뛰어난 일반화 능력을 보였다.
• 제거 실험 결과, 창문 크기 w=32인 ASAF-w가 일부 과제에서 전체 궤적 ASAF보다 더 높은 성능을 보여, 전이 단위 학습의 이점이 있음을 시사한다.
• 하이퍼파라미터 탐색 결과, ASAF는 학습률과 창문 크기의 변동에 대해 강건하며, 25개 설정에서의 무작위 탐색을 통해 최적의 설정을 찾을 수 있었다.
• 강화 학습 루프를 제거함으로써 훈련 복잡도를 줄였으며, 표준 AIL 프레임워크 대비 구현 및 계산 오버헤드를 약 절반으로 줄였다.