[논문 리뷰] Robust Deep Reinforcement Learning through Bootstrapped Opportunistic Curriculum

Junlin Wu, Yevgeniy Vorobeychik|arXiv (Cornell University)|2022. 06. 21.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 부스터랩드 기회주의 커리큘럼 학습(BCL)을 제안한다. BCL은 이전 런에서 가장 성능이 좋았던 모델을 부스터랩드하여 각 커리큘럼 단계를 초기화하고, 이미 강건성이 확보된 경우 높은 펄루베이션 수준으로 즉시 스킵하는 방식으로 딥 강화학습(DRL)의 강건성을 향상시키는 새로운 대립적 커리큘럼 프레임워크이다. BCL은 최신 기술 수준의 강건성을 달성하여 Pong에서 ε=25/255까지의 대립적 펄루베이션에 견딜 수 있는 정책을 가능하게 하며, 이는 이전 방법들이 ε=5/255를 초과하면 실패하는 것과 비교해 뚜렷이 뛰어나다.

ABSTRACT

Despite considerable advances in deep reinforcement learning, it has been shown to be highly vulnerable to adversarial perturbations to state observations. Recent efforts that have attempted to improve adversarial robustness of reinforcement learning can nevertheless tolerate only very small perturbations, and remain fragile as perturbation size increases. We propose Bootstrapped Opportunistic Adversarial Curriculum Learning (BCL), a novel flexible adversarial curriculum learning framework for robust reinforcement learning. Our framework combines two ideas: conservatively bootstrapping each curriculum phase with highest quality solutions obtained from multiple runs of the previous phase, and opportunistically skipping forward in the curriculum. In our experiments we show that the proposed BCL framework enables dramatic improvements in robustness of learned policies to adversarial perturbations. The greatest improvement is for Pong, where our framework yields robustness to perturbations of up to 25/255; in contrast, the best existing approach can only tolerate adversarial noise up to 5/255. Our code is available at: https://github.com/jlwu002/BCL.

연구 동기 및 목표

• 딥 강화학습(DRL) 정책이 상태 관측치의 작은 대립적 펄루베이션에 취약한 문제를 해결하기 위해.
• 기존의 대립적 훈련 및 단순 커리큘럼 접근 방식의 한계를 극복하여 더 큰 펄루베이션 수준까지 강건성을 확장하기 위해.
• 노미널 성능을 희생시키지 않으면서도 유연하고 적응 가능한 커리큘럼 프레임워크를 개발하기 위해.
• 구조적이고 단계적인 커리큘럼 진행 방식을 통해 점점 더 심각한 대립적 공격에 일반화할 수 있도록 DRL 에이전트를 가능하게 하기 위해.

제안 방법

• 프레임워크는 이전 단계의 다수의 대립적 훈련 런에서 가장 성능이 좋았던 모델을 선택하여 다음 단계의 시작점으로 삼는 부스터랩드 커리큘럼 단계를 활용한다.
• 현재 모델이 해당 수준의 펄루베이션에 강건함을 입증할 경우, 더 높은 펄루베이션 수준(ε)으로 커리큘럼을 즉각 스킵하는 기회주의적 스킵 메커니즘을 도입한다.
• 대립적 예제는 간격 경계 전파와 FGSM 기반 공격을 조합한 하이브리드 접근 방식을 사용하여 커리큘럼 진행을 안내한다.
• 커리큘럼는 작은 ε부터 시작하여 점차 펄루베이션의 크기를 증가시키며, 강건성이 확인된 경우에만 다음 단계로 진행된다.
• 각 단계당 다수의 훈련 런을 통해 고품질의 초기화를 보장하고 성능의 변동성을 감소시킨다.
• 방법은 DQN 스타일 아키텍처를 사용하여 Atari 환경(Pong, Freeway, BankHeist, RoadRunner)에서 평가되었으며, 노미널 보상에 미미한 영향을 미친다.

실험 결과

연구 질문

• RQ1 표준 대립적 훈련에 비해 커리큘럼 학습 프레임워크가 더 큰 대립적 펄루베이션 수준에 대해 DRL 정책의 강건성을 크게 향상시킬 수 있는가?
• RQ2 다수의 런에서 가장 좋은 모델을 사용해 각 커리큘럼 단계를 부스터랩드하면 강건성과 훈련 안정성이 향상되는가?
• RQ3 커리큘럼에서 기회주의적으로 앞서나가는 것이 훈련 시간을 단축시키면서도 강건성을 유지하거나 향상시킬 수 있는가?
• RQ4 증가하는 펄루베이션 크기에 대해 제안된 BCL 프레임워크는 RADIAL-DQN 및 SA-DQN과 같은 최신 기술 수준의 방법과 비교해 강건성 면에서 어떻게 다른가?
• RQ5 BCL 프레임워크는 다양한 Atari 환경에서 뛰어난 강건성을 달성하면서도 높은 노미널 성능을 얼마나 오랫동안 유지할 수 있는가?

주요 결과

• Pong에서는 BCL로 훈련된 정책이 ε=25/255까지의 대립적 펄루베이션에 강건한 성능을 보이며, 이는 이전 최신 기술 수준(RADIAL-DQN)이 ε=5/255에서 실패하는 것과 비교해 극적으로 향상된 결과이다.
• BankHeist에서는 BCL가 SA-DQN보다 ε=15/255에서 한 계단 높은 강건성을 달성하여 공격 하에서의 우수한 일반화 능력을 입증한다.
• RoadRunner에서는 BCL이 ε=15/255에서 RADIAL-DQN을 수십 배 이상 뛰어넘는 성능을 보이며 강건한 정책 학습의 상당한 성과를 나타낸다.
• 모든 환경에서 BCL 프레임워크는 강력한 노미널 성능을 유지하며, 표준 DQN 훈련과 비교해 미미한 성능 저하를 보였다.
• 기회주의적 스킵 메커니즘은 불필요한 단계를 피하여 훈련 시간을 단축시키며, 부스터랩드 초기화로 인해 런 간 일관된 성능 향상이 보장된다.
• 여러 런과 환경 전반에서 일관된 향상이 관찰되었으며, 강건성 지표의 변동성이 낮아 신뢰도가 높음을 시사한다.