[논문 리뷰] Analysis and Improvement of Adversarial Training in DQN Agents With Adversarially-Guided Exploration (AGE)

Vahid Behzadan, William Hsu|arXiv (Cornell University)|2019. 06. 03.

Adversarial Robustness in Machine Learning참고 문헌 11인용 수 5

한 줄 요약

이 논문은 DQN 에이전트의 샘플 효율적인 탐색을 위한 Adversarially-Guided Exploration (AGE)를 제안한다. AGE는 $\epsilon$-greedy와 볼츠만 탐색의 하이브리드 방식을 통해 적대적 편향을 탐색에 통합함으로써, 적대적 방해에 대한 강건성을 향상시킨다. AGE는 표준 $\epsilon$-greedy 및 파rameter-space 노이즈와 비교해 더 빠른 수렴 속도와 더 높은 상태공간 공격에 대한 저항성을 보이며, 적대적 훈련의 샘플 복잡도를 감소시킨다.

ABSTRACT

This paper investigates the effectiveness of adversarial training in enhancing the robustness of Deep Q-Network (DQN) policies to state-space perturbations. We first present a formal analysis of adversarial training in DQN agents and its performance with respect to the proportion of adversarial perturbations to nominal observations used for training. Next, we consider the sample-inefficiency of current adversarial training techniques, and propose a novel Adversarially-Guided Exploration (AGE) mechanism based on a modified hybrid of the $ε$-greedy algorithm and Boltzmann exploration. We verify the feasibility of this exploration mechanism through experimental evaluation of its performance in comparison with the traditional decaying $ε$-greedy and parameter-space noise exploration algorithms.

연구 동기 및 목표

• 적대적 경험 비율에 따라 DQN 에이전트에서 적대적 훈련의 이론적 한계를 분석하는 것.
• 현재 DQN에서의 적대적 훈련 기법이 샘플 비효율적인 이유를 규명하는 것.
• 적대적 훈련 중 샘플 효율성을 향상시키는 새로운 탐색 메커니즘을 개발하는 것.
• 제안된 Adversarially-Guided Exploration (AGE) 메커니즘이 정책의 강건성을 향상시키는 데 효과적인지 평가하는 것.
• AGE의 성능을 기존의 $\epsilon$-greedy 및 파rameter-space 노이즈 탐색 방식과 비교하여 적대적 저항성 측면에서 평가하는 것.

제안 방법

• AGE를 제안하며, $\epsilon$-greedy와 볼츠만 탐색을 융합한 하이브리드 탐색 전략을 통해 적대적 상태로의 탐색을 유도한다.
• 탐색 행동이 적대적으로 편향된 상태를 우선시하는 분포 $\zeta_{adv}^{\pi_i}$ 에서 선택되는 수정된 $\epsilon$-greedy 정책을 도입한다.
• 적대자의 상태 편향 능력을 제약하기 위해 확률적 예산 $P(\text{attack})$ 를 사용하며, 상태 중립적 공격자와 타겟 공격자를 구분한다.
• 우선순위 샘플링을 사용하는 경험 재생 기법을 적용하며, TD-오차의 편향을 줄이기 위해 명시적 경험의 샘플 확률이 시간이 지남에 따라 증가해야 한다.
• 적대적 훈련이 효과를 유지할 수 있는 이론적 조건을 유도하며, 수렴을 위해 $p_{\text{nominal}}(s_t) > p(\text{attack})$ 가 필요하다고 밝힌다.
• 고정된 편향 비용 $c_{\text{adv}} = 1$ 를 가진 DQN 기반의 적대적 에이전트를 사용하여 훈련 중 강건성과 회귀를 측정한다.

실험 결과

연구 질문

• RQ1 재생 버퍼 내 적대적 경험 비율에 기반해 DQN 에이전트에서 적대적 훈련의 이론적 한계는 무엇인가?
• RQ2 적대적 경험과 일반 경험의 비율이 DQN 정책의 수렴성과 강건성에 미치는 영향은 어떠한가?
• RQ3 하이브리드 탐색 메커니즘이 DQN 에이전트의 적대적 훈련에서 샘플 효율성을 향상시킬 수 있는가?
• RQ4 AGE는 기존의 $\epsilon$-greedy 및 파rameter-space 노이즈 탐색 방식과 비교해 적대적 저항성과 훈련 안정성 측면에서 어떻게 다를까?
• RQ5 AGE는 표준 적대적 훈련에 비해 더 빠른 수렴 속도와 더 높은 강건성을 달성하는가?

주요 결과

• $p(\text{attack}) = 0.2$ 와 $0.4$ 일 경우, 적대적 훈련은 공격 시작 후 빠르게 회복하지만, $p(\text{attack}) = 0.8$ 와 $1.0$ 일 경우, 훈련 기간 내에 회복에 실패한다.
• 이론적 분석 결과, 효과적인 적대적 훈련을 위해서는 일반 경험의 샘플링 확률이 시간이 지남에 따라 증가해야 하며, 즉 $p_{\text{nominal}}(s_t) > p(\text{attack})$ 여야 한다.
• AGE로 훈련된 정책은 그림 3에서 보듯이 $\epsilon$-greedy 탐색보다 더 빠른 수렴 속도와 더 높은 안정성을 보인다.
• AGE로 훈련된 정책을 대상으로 하는 적대적 에이전트는 100,000회 반복 내에 수렴하지 못하지만, 동일한 에이전트가 $\epsilon$-greedy 정책을 대상으로 할 경우 약 90,000단계 내에 수렴한다.
• AGE 기반 훈련은 표준 적대적 훈련보다 훨씬 적은 샘플로 더 뛰어난 적대적 저항성을 달성하며, 동일한 훈련 시간 내에 낮은 회귀와 더 높은 편향 수치를 기록한다.
• AGE는 $\epsilon$-greedy 및 파rameter-space 노이즈 탐색 방식 모두를 초월하여 적대적 저항성 벤치마크에서 뛰어난 샘플 효율성과 강건성을 입증한다.