[논문 리뷰] Generalization of Reinforcement Learning with Policy-Aware Adversarial Data Augmentation

Hanping Zhang, Yuhong Guo|arXiv (Cornell University)|2021. 06. 29.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 6

한 줄 요약

이 논문은 강화학습 일반화 성능을 향상시키기 위해 정책 그래เดียน트를 기반으로 한 적대적 트레이젝터리 생성을 통해 새로운 방법인 정책 인지적 적대적 데이터 증강과 믹스업(PAADA+Mixup)을 제안한다. 기존 데이터와 적대적으로 생성된 트레이젝터리를 믹스업을 통해 융합함으로써, 특히 낮은 훈련 다양성 설정에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

The generalization gap in reinforcement learning (RL) has been a significant obstacle that prevents the RL agent from learning general skills and adapting to varying environments. Increasing the generalization capacity of the RL systems can significantly improve their performance on real-world working environments. In this work, we propose a novel policy-aware adversarial data augmentation method to augment the standard policy learning method with automatically generated trajectory data. Different from the commonly used observation transformation based data augmentations, our proposed method adversarially generates new trajectory data based on the policy gradient objective and aims to more effectively increase the RL agent's generalization ability with the policy-aware data augmentation. Moreover, we further deploy a mixup step to integrate the original and generated data to enhance the generalization capacity while mitigating the over-deviation of the adversarial data. We conduct experiments on a number of RL tasks to investigate the generalization performance of the proposed method by comparing it with the standard baselines and the state-of-the-art mixreg approach. The results show our method can generalize well with limited training diversity, and achieve the state-of-the-art generalization test performance.

연구 동기 및 목표

• 다양한 실제 환경에서의 과적합과 데이터 기억 현상으로 인해 지속적으로 발생하는 일반화 갭을 해결한다.
• 관찰 수준의 전통적 데이터 증강 기법의 한계를 극복하기 위해, 강화학습 정책의 목적과 일치하는 적대적 트레이젝터리를 생성하는 정책 인지적 접근을 개발한다.
• 적대적 데이터 증강과 믹스업을 통합하여 일반화 능력을 향상시키며, 두 기법의 강점을 유기적으로 활용한다.
• 특히 낮은 데이터 다양성 훈련 환경에서 뛰어난 성능을 보이며, 도전적인 제로샷 일반화 설정에서도 뛰어난 성능을 입증한다.
• 정책 최적화 목표에 특화된 적대적 트레이젝터리 생성을 통해 강화학습의 데이터 증강 분야에 새로운 패러다임을 제안한다.

제안 방법

• 초기 소스 트레이젝터리에 기반하여 기울기 기반의 변형을 적용해 현재 정책의 기대 수익을 최소화함으로써 적대적 트레이젝터리를 생성한다.
• 훈련 중 기존 트레이젝터리와 적대적 트레이젝터리의 기여도를 균형 잡기 위해 제어 가능한 증강 정도(ν)를 적용한다.
• 각 관측 단계를 ν 비율에 비례하는 확률로 기존 또는 적대적 트레이젝터리에서 무작위로 선택하여, 기존 및 적대적 트레이젝터리 단계를 확률적으로 융합하는 믹스업 연산을 도입한다.
• 기존 및 믹스업 증강된 트레이젝터리의 조합을 사용해 강화학습 정책을 훈련시켜 내성적 저항성과 일반화 능력을 향상시킨다.
• 생성된 적대적 데이터가 의미적으로 유의미하고 정책의 학습 목표와 일치하도록 정책 그래디언트 기반 최적화를 사용한다.
• 다양한 훈련 환경 다양성 설정(ξ = 1, 0.5, 0.25)을 고려해 Procgen 벤치마크에 이 방법을 적용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 정책 그래디언트 기반의 적대적 트레이젝터리 생성이 딥 강화학습 에이전트의 일반화 능력을 향상시킬 수 있는가?
• RQ2 적대적 데이터 증강과 믹스업을 융합하면, 각각을 별도로 사용할 때보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ3 낮은 다양성 훈련 환경에서 본 방법은 어떻게 성능을 내는가? 특히 훈련 환경의 25%만 이용 가능한 경우에 어떻게 되는가?
• RQ4 정책 인지적 적대적 데이터 증강 기법은 다양한 환경에서 제로샷 일반화를 수행할 때 기존 최신 기술 수준(SOTA) 방법인 mixreg를 초월할 수 있는가?
• RQ5 증강 정도(ν)가 증강 훈련 과정의 성능와 안정성에 어떤 영향을 미치는가?

주요 결과

• PAADA+Mixup는 Procgen 벤치마크에서 최신 기술 수준(SOTA)의 일반화 성능을 달성하였으며, 15개 테스트 케이스 중 12개에서 PPO 및 mixreg를 모두 초월한다.
• 훈련 환경의 25%만 제공되는 가장 도전적인 설정(ξ=0.25)에서, PAADA+Mixup는 평균 정규화 수익 0.26을 기록하여 mixreg(0.09)와 PPO(0.03)를 모두 앞선다.
• ξ=0.25일 때 클라이머 환경에서 PAADA(ν=0.5)는 3.64±0.62의 최고 수익을 기록하며, PAADA+Mixup(2.08±0.46)를 앞서는 것으로 나타나, 극도로 낮은 데이터 가용성 상황에서는 믹스업이 항상 유리하지 않을 수 있음을 시사한다.
• ξ=0.25일 때 도지볼 환경에서 PAADA+Mixup는 2.38±0.46의 성능을 기록하며, mixreg(2.10±0.30)와 PPO(1.12±0.18)를 크게 앞서며, 낮은 데이터 다양성 조건에서도 뛰어난 일반화 능력을 입증한다.
• 모든 네 종류의 Procgen 게임(climber, dodgeball, fruitbot, starpilot)에서 일관되게 일반화 능력이 향상되었으며, PAADA+Mixup는 모든 환경에서 평균 정규화 수익 0.37±0.02를 기록하여 최고 성능을 달성한다.
• 제거 분석 결과, 적대적 데이터 증강과 믹스업 모두 성능 향상에 독립적으로 기여하며, 두 기법의 조합은 일반화 능력 향상에 상호보완적 효과를 나타낸다.