[논문 리뷰] Model-based Adversarial Meta-Reinforcement Learning

Zichuan Lin, Garrett Thomas외 2명|arXiv (Cornell University)|2020. 06. 16.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 15

한 줄 요약

이 논문은 매개변수화된 작업 가족 내 모든 작업에 대해 가장 나쁜 경우의 부분최적성 갭을 최소화하기 위해 공유 동역학 모델을 훈련하는 minimax 프레임워크인 모델 기반 적대적 메타강화학습(AdMRL)을 제안한다. 음성 기울기 추정을 위한 공액 그래디언트와 REINFORCE를 활용한 음성 기울기 추정을 통해 모델 학습과 적대적 작업 탐색을 번갈아 수행함으로써 AdMRL은 최신 메타강화학습 방법들보다 뛰어난 가장 나쁜 경우 성능, 분포 외 작업으로의 일반화 능력, 샘플 효율성을 달성한다.

ABSTRACT

Meta-reinforcement learning (meta-RL) aims to learn from multiple training tasks the ability to adapt efficiently to unseen test tasks. Despite the success, existing meta-RL algorithms are known to be sensitive to the task distribution shift. When the test task distribution is different from the training task distribution, the performance may degrade significantly. To address this issue, this paper proposes Model-based Adversarial Meta-Reinforcement Learning (AdMRL), where we aim to minimize the worst-case sub-optimality gap -- the difference between the optimal return and the return that the algorithm achieves after adaptation -- across all tasks in a family of tasks, with a model-based approach. We propose a minimax objective and optimize it by alternating between learning the dynamics model on a fixed task and finding the adversarial task for the current model -- the task for which the policy induced by the model is maximally suboptimal. Assuming the family of tasks is parameterized, we derive a formula for the gradient of the suboptimality with respect to the task parameters via the implicit function theorem, and show how the gradient estimator can be efficiently implemented by the conjugate gradient method and a novel use of the REINFORCE estimator. We evaluate our approach on several continuous control benchmarks and demonstrate its efficacy in the worst-case performance over all tasks, the generalization power to out-of-distribution tasks, and in training and test time sample efficiency, over existing state-of-the-art meta-RL algorithms.

연구 동기 및 목표

• 훈련 분포와 다를 수 있는 테스트 작업에서 성능 저하를 일으키는 분포 이탈 문제를 해결한다.
• 매개변수화된 작업 가족 내 모든 작업에 대해 가장 나쁜 경우의 부분최적성 갭을 최소화하는 메타강화학습을 minimax 문제로 재구성한다.
• 적응 과정 중 샘플 효율성을 향상시키기 위해 공유 동역학 모델을 학습하는 모델 기반 접근법을 개발한다.
• 암묵함수정리(implicit function theorem)를 통해 효율적인 기울기 계산을 가능하게 하여 작업 매개변수에 대한 효과적인 최적화를 가능하게 한다.
• 메타학습 중에 어려운 작업을 적대적으로 선택함으로써 분포 외 작업으로의 일반화를 향상시킨다.

제안 방법

• 모델 학습자인 모델 매개변수를 최소화하는 방식으로, 작업 매개변수에 대해 가장 나쁜 경우의 부분최적성 갭을 최소화하는 minimax 목표함수로 문제를 설정한다.
• 일정한 작업에 대해 훈련된 공유 동역학 모델을 사용하여 테스트 시점 추론 중 정책을 적응시키는 모델 기반 접근법을 사용한다.
• 동역학 모델 갱신과 현재 정책의 부분최적성 갭을 최대화하는 적대적 작업을 찾는 것을 번갈아 수행한다.
• 암묵함수정리를 사용하여 부분최적성 갭의 작업 매개변수에 대한 기울기를 유도함으로써 적응 과정을 통해 역전파가 가능하게 한다.
• 헤시안-벡터 곱을 위한 공액 그래디언트와 정책 기울기를 위한 새로운 REINFORCE 기반 추정기를 사용하여 기울기 추정기를 효율적으로 구현한다.
• 모델 학습과 적대적 작업 생성 간의 번갈아 최적화를 통해 minimax 목표함수를 최적화한다.

실험 결과

연구 질문

• RQ1 분포 이탈 상황에서 메타강화학습의 가장 나쁜 경우 성능을 향상시키기 위해 minimax 설정이 효과적인가?
• RQ2 적대적 작업 생성은 메타강화학습에서 분포 외 작업으로의 일반화를 어떻게 향상시킬 수 있는가?
• RQ3 암묵기울기 추정을 사용하는 모델 기반 메타강화학습은 분포 기반 접근법보다 더 뛰어난 샘플 효율성과 강인성을 달성할 수 있는가?
• RQ4 고차원 작업 매개변수 공간에서 표준 메타강화학습 방법과 적대적 훈련 간의 성능에 어떤 영향을 미치는가?
• RQ5 메타학습 중에 하드 작업을 커버하기 위해 적대적 작업 선택이 랜덤 샘플링(균일 또는 정규분포)과 비교해 어떻게 다른가?

주요 결과

• Ant2D 및 Ant3D 환경에서 경계에 위치한 작업들에 대해 AdMRL은 MB-Unif 및 MB-Gauss보다 유의미하게 낮은 가장 나쁜 경우 부분최적성 갭을 달성한다.
• Ant2D 환경에서 훈련 시 [-3,3]²에서 테스트 시 [-5,5]²에서 샘플링된 분포 외 작업을 사용할 경우, AdMRL은 베이스라인들보다 훨씬 낮은 부분최적성 갭을 보인다.
• 고차원 작업에서 AdMRL은 중심 영역에 과적합되는 것을 피하고, 어려운 작업을 효율적으로 식별하여 학습함으로써 MB-Unif 및 MB-Gauss를 능가한다.
• 시각화 결과는 AdMRL이 작업 공간의 경계에 위치한 하드 작업들을 신속하게 방문하고 학습하는 반면, 랜덤 샘플링 기반 베이스라인들은 이러한 영역에 거의 도달하지 못하는 것으로 나타났다.
• AdMRL이 학습한 모델은 MB-Unif 및 MB-Gauss보다 분포 외 작업에서 더 낮은 예측 오차를 보이며, 동역학 일반화 능력 향상을 시사한다.
• AdMRL은 적응 단계 전반에서 뛰어난 성능을 유지하며, 가장 나쁜 경우 부분최적성 갭이 베이스라인들보다 더 빠르게 감소하고 더 낮은 값에 도달한다.