[논문 리뷰] Amélioration de la Robustesse d'Agents Entraîné par Renforcement Profond : Attaque de l'Environnement basée sur le Réseau Critique.

Lucas Schott, Hatem Hajri외 1명|arXiv (Cornell University)|2021. 04. 07.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 3

한 줄 요약

이 논문은 비용이 많이 드는 적대적 에이전트 학습이 필요로 하는 기존 방법들과는 달리, 비판자 네트워크에 직접적으로 기울기 기반 적대적 공격을 적용하여 동적인 환경 방해를 생성함으로써 딥 강화학습 에이전트의 견고성을 향상시키는 새로운 방법 EACN을 제안한다. EACN는 비판자 네트워크의 가치 함수 기울기를 활용하여 장기적이고 의미 있는 왜곡을 생성함으로써, FSP 및 RARL과 같은 최신 기법들보다 더 빠른 수렴 속도와 뛰어난 성능을 달성하며, 목표 환경에서 훈련된 에이전트를 초월하는 견고성을 확보한다.

ABSTRACT

International audience

연구 동기 및 목표

• 환경 왜곡에 대한 에이전트의 견고성을 향상시켜 강화학습에서의 현실 격차를 해소하기 위해.
• 강화학습에서 별도의 적대적 에이전트를 훈련시킬 경우 발생하는 불안정성과 높은 계산 비용 문제를 해결하기 위해.
• 에이전트의 정책을 도전적으로 만들 수 있는 동적이고 장기적인 환경 왜곡을 더 효율적이고 효과적으로 생성하는 방법을 개발하기 위해.
• 관찰 공간에 공격하거나 별도의 적대적 에이전트를 활용한 적대적 훈련에 의존하는 것보다, 비판자 네트워크를 통해 환경을 공격하는 것이 더 뛰어난 견고성을 얻을 수 있음을 입증하기 위해.

제안 방법

• 비판자 네트워크의 가치 함수에 기울기 기반 적대적 공격를 적용하여 환경의 상태 동역학에 왜곡을 생성한다.
• 상태에 대한 비판자 네트워크의 기울기를 사용하여 누적 수익에 영향을 주는 장기적인 영향을 미치는 고영향도 왜곡을 식별한다.
• 훈련 중에 이러한 적대적 왜곡을 동적으로 환경에 삽입하여 과제의 난이도를 교육 과정 유사한 방식으로 증가시킨다.
• 주 훈련 루프를 수정하지 않고도 PPO 알고리즘에 공격를 통합하기 위해 정책 및 가치 네트워크 추론 이전에 상태 입력을 수정한다.
• 별도의 적대적 에이전트를 훈련하지 않아 FSP나 RARL와 같은 기법들보다 복잡성과 훈련 불안정성이 감소한다.
• 미래 가치를 알고 있는 비판자의 지식을 활용하여 단순히 즉각적인 영향을 넘어서 장기적인 부정적 영향을 미치는 왜곡을 조정한다.

실험 결과

연구 질문

• RQ1 비판자 네트워크에 적용된 적대적 공격가 별도의 적대적 에이전트를 훈련시키는 것보다 더 효과적이고 견고한 환경 왜곡을 생성할 수 있는가?
• RQ2 비판자 기울기를 활용해 환경의 동역학을 공격하는 것이 관찰 공간 공격이나 전용 적대적 에이전트를 사용한 적대적 훈련보다 더 빠른 수렴 속도와 더 뛰어난 견고성을 제공하는가?
• RQ3 비판자 가이드된 공격 방법이 실제 목표 환경에서 훈련된 에이전트를 초월할 수 있는가, 특히 훈련 중에 목표 환경에 접근이 불가능한 경우에도 마찬가지인가?
• RQ4 비판자가 이끄는 왜곡 복잡성 증가 교육 과정이 다양한 환경 복잡성에서 최종 정책의 견고성에 어떤 영향을 미치는가?

주요 결과

• EACN로 훈련된 에이전트는 FSP 및 RARL보다 더 빠른 수렴 속도를 보이며, FSP의 경우 200만 단계까지 적대적 에이전트 훈련이 지연되어 곡선이 평평해지는 경향을 보였다.
• HighwayEnv에서 EACN는 교통 밀도가 증가함에 따라 FSP 및 기본 에이전트를 능가하며, 고밀도 상황에서도 목표 에이전트 성능과 동등하거나 이를 초월했다.
• FlappyBird에서 EACN 에이전트는 가장 도전적인 간격 크기(100)에서 모든 기준 에이전트—포함해 목표 에이전트—를 크게 능가하여 뛰어난 견고성을 입증했다.
• EACN는 별도의 적대적 에이전트 네트워크를 훈련하지 않아 계산 비용이 더 낮으면서도 FSP 및 RARL보다 더 뛰어난 견고성을 달성했다.
• 비판자 기울기를 기반으로 한 에이전트 상태 조작을 통해 동적인 난이도 증가 교육 과정을 성공적으로 생성하여 정책의 일반화 능력을 향상시켰다.
• 목표 환경(예: 밀도 2.0인 HighwayEnv)에 접근이 불가능한 상황에서도 EACN의 성능가 실제 목표 환경에서 훈련된 에이전트와 유사한 성능을 보였다.