[논문 리뷰] Adversary A3C for Robust Reinforcement Learning

Zhaoyuan Gu, Zhenzhong Jia외 1명|arXiv (Cornell University)|2019. 12. 01.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 20

한 줄 요약

이 논문은 적대적 훈련을 통합하여 적대적 방해에 대한 강건성을 향상시키는 A3C 강화학습 알고리즘의 개선된 버전인 Adversary Robust A3C(AR-A3C)를 제안한다. 훈련 중에 흐름을 생성하는 적대적 에이전트를 도입함으로써 AR-A3C는 소음에 강건한 정책을 학습하게 되며, 시뮬레이션과 실제 펜듈럼 실험 모두에서 청소된 환경과 노이즈가 있는 환경에서 표준 A3C보다 뛰어난 성능을 보인다.

ABSTRACT

Asynchronous Advantage Actor Critic (A3C) is an effective Reinforcement Learning (RL) algorithm for a wide range of tasks, such as Atari games and robot control. The agent learns policies and value function through trial-and-error interactions with the environment until converging to an optimal policy. Robustness and stability are critical in RL; however, neural network can be vulnerable to noise from unexpected sources and is not likely to withstand very slight disturbances. We note that agents generated from mild environment using A3C are not able to handle challenging environments. Learning from adversarial examples, we proposed an algorithm called Adversary Robust A3C (AR-A3C) to improve the agent's performance under noisy environments. In this algorithm, an adversarial agent is introduced to the learning process to make it more robust against adversarial disturbances, thereby making it more adaptive to noisy environments. Both simulations and real-world experiments are carried out to illustrate the stability of the proposed algorithm. The AR-A3C algorithm outperforms A3C in both clean and noisy environments.

연구 동기 및 목표

• 실제 환경과 시뮬레이션 환경에서 작은 적대적 방해에 취약한 딥 강화학습 정책의 문제점을 해결한다.
• 청결한 환경에서의 성능을 손상시키지 않은 채 A3C 알고리즘의 강건성을 향상시킨다.
• 실제 환경에서 정책 평가를 위한 자동화된 적대적 훈련을 지원하는 하드웨어 플랫폼을 개발한다.
• 강건한 정책이 시뮬레이션에서 물리적 로봇 시스템으로 전이될 수 있음을 입증한다.
• 점진적인 노이즈 수준 훈련과 외부 힘 적용을 통해 강건성 수준을 정량화한다.

제안 방법

• 훈련 중 환경에 교란을 일으키는 적대적 에이전트를 도입하여 극단적인 방해를 시뮬레이션한다.
• 경험 재생 버퍼에 적대적 예제를 포함시켜 A3C 프레임워크를 수정함으로써 정책이 실패 유도 시나리오에서 학습할 수 있도록 한다.
• 메인 에이전트가 청결한 전이와 적대적 전이 양쪽에서 학습하는 이중 스트림 훈련 메커니즘을 구현한다.
• 실시간 힘 적용이 가능한 연속적인 자동 적대적 훈련을 지원하는 하드웨어 기반 펜듈럼 설정을 구현한다.
• 노이즈 강도가 시간이 지남에 따라 증가하는 점진적 훈련 스케줄을 적용하여 점차 악화되는 도전 상황을 시뮬레이션한다.
• 정책의 일반화 능력을 향상시키기 위해 도메인 랜덤라이제이션과 적대적 데이터 증강을 활용한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 노이즈가 있거나 교란된 환경에서 A3C 정책의 강건성을 크게 향상시킬 수 있는가?
• RQ2 훈련 중에 적대적 예제를 포함시키는 것이 시뮬레이션과 실제 환경 모두에서 더 나은 일반화를 이끌어내는가?
• RQ3 강건한 정책을 시뮬레이션에서 훈련시켜 물리적 로봇 시스템으로 성공적으로 전이할 수 있는가?
• RQ4 누적 보상 안정성 측면에서 AR-A3C의 성능이 적대적 공격 하에서 표준 A3C와 비교해 어떻게 되는가?
• RQ5 점진적인 노이즈 수준 훈련이 점차 증가하는 방해 수준에 대한 정량적 강건성 발달에 기여하는가?

주요 결과

• AR-A3C는 적대적 공격 하에서 표준 A3C보다 누적 보상 측면에서 뚜렷이 뛰어나며, 성능 저하가 최소한이다.
• 시뮬레이션에서는 AR-A3C가 강력한 적대적 교란 조건에서도 안정적인 성능을 유지하는 반면, A3C는 누적 보상이 급격히 감소함을 확인했다.
• 실제 펜듈럼 실험 결과, AR-A3C는 외부 날카롭지 않은 힘과 환경 노이즈에 강건함을 입증하며 실용적인 강건성을 보였다.
• 강건한 정책의 시뮬레이션에서 실제 환경으로의 전이가 가능했으며, 물리적 에이전트가 시뮬레이션된 동료와 유사한 성능을 달성했다.
• 점진적인 적대적 훈련은 정책이 증가하는 방해 수준에 적응하도록 도와주며, 점차 증가하는 방해 수준에 대한 강건성 평가에 확장 가능한 방법을 제시한다.
• 개발된 하드웨어 플랫폼은 자동화된 적대적 훈련을 성공적으로 지원하여 반복 가능하고 확장 가능한 강건성 평가를 가능하게 했다.