[논문 리뷰] Investigating Vulnerabilities of Deep Neural Policies

Ezgi Korkmaz|arXiv (Cornell University)|2021. 08. 30.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 적대적 훈련이 강화학습에서 딥 네ural 정책에 미치는 영향을 분석하기 위해 두 가지 방법을 사용한다: 적대적 편향의 주파수 도메인 분석과 새로운 특징 민감도 탐지 기법. 분석 결과, 적대적 훈련을 거친 정책은 저주파 성분에 더 민감해지고, 원래의 비강건 특징에서 새로운 비강건 특징 집합으로 취약성이 이동함을 확인하였으며, 이는 강건성 특성에 근본적인 변화가 있음을 시사한다.

ABSTRACT

Reinforcement learning policies based on deep neural networks are vulnerable to imperceptible adversarial perturbations to their inputs, in much the same way as neural network image classifiers. Recent work has proposed several methods to improve the robustness of deep reinforcement learning agents to adversarial perturbations based on training in the presence of these imperceptible perturbations (i.e. adversarial training). In this paper, we study the effects of adversarial training on the neural policy learned by the agent. In particular, we follow two distinct parallel approaches to investigate the outcomes of adversarial training on deep neural policies based on worst-case distributional shift and feature sensitivity. For the first approach, we compare the Fourier spectrum of minimal perturbations computed for both adversarially trained and vanilla trained neural policies. Via experiments in the OpenAI Atari environments we show that minimal perturbations computed for adversarially trained policies are more focused on lower frequencies in the Fourier domain, indicating a higher sensitivity of these policies to low frequency perturbations. For the second approach, we propose a novel method to measure the feature sensitivities of deep neural policies and we compare these feature sensitivity differences in state-of-the-art adversarially trained deep neural policies and vanilla trained deep neural policies. We believe our results can be an initial step towards understanding the relationship between adversarial training and different notions of robustness for neural policies.

연구 동기 및 목표

• 적대적 훈련이 강화학습에서 딥 네ural 정책의 취약성 프로파일에 어떻게 영향을 미치는지 이해하는 것.
• 적대적 훈련이 분포 이탈의 특정 유형, 특히 주파수 도메인에서 강건성의 이동 여부를 조사하는 것.
• 적대적 훈련이 원래의 비강건 특징을 제거하면서 새로운 비강건 특징를 도입하는지 확인하는 것.
• 딥 네ural 정책의 특징 수준 민감도를 측정하기 위한 새로운 방법을 개발하고 적용하는 것.
• 여러 개의 Atari 환경에서 최신의 적대적 훈련된 정책과 일반 훈련된 정책 간의 강건성 특성을 비교하는 것.

제안 방법

• 논문은 카르린시와 웨이거의 공격로 생성된 최소 적대적 편향의 주파수 도메인을 분석하기 위해 푸리에 변환을 사용한다. 이는 적대적 훈련된 정책과 일반 훈련된 정책 모두에 적용된다.
• KMAP(Kernel-based Model Activation Probing)은 개별 픽셀 편향이 정책 출력에 미치는 영향을 계산하여 특징 민감도를 측정하는 방법을 제안한다.
• HMAP(Hessian-based Model Activation Probing)은 편향 이전과 이후의 소프트맥스 정책 분포의 차이를 이용해 민감도를 추정한다.
• 논문은 KMAP와 HMAP를 오픈AI 견적 Atari 환경에서 훈련된 딥 네ural 정책의 민감도 패턴을 평가하기 위해 적용한다.
• ℓ₁/ℓ₂ 노름 비율과 소프트맥스 변환된 민감도 맵의 엔트로피를 사용하여 취약성 패턴의 희소성과 분포 확산을 정량화한다.
• 실험은 네 가지 Atari 게임에서 수행된다: Freeway, BankHeist, RoadRunner, Pong. 일반 정책과 적대적 훈련된 정책을 비교한다.

실험 결과

연구 질문

• RQ1 적대적 훈련은 딥 네ural 정책에서 최소 적대적 편향의 주파수 분포에 어떻게 영향을 미치는가?
• RQ2 적대적 훈련된 정책과 일반 훈련된 정책 간의 특징 수준 민감도에 어떤 차이가 있는가?
• RQ3 적대적 훈련은 원래의 비강건 특징에 대한 민감도를 제거하면서 새로운 비강건 특징 집합에 민감도를 유도하는가?
• RQ4 적대적 훈련된 정책의 취약성 패턴은 일반 정책과 비교해 희소성과 분포 확산 측면에서 어떻게 다른가?
• RQ5 KMAP와 HMAP는 딥 네ural 정책의 특징 기반 취약성에 대해 신뢰할 수 있고 구별 가능한 측정치를 제공하는가?

주요 결과

• 적대적 훈련된 정책은 일반 훈련된 정책보다 주파수 도메인에서 저주파 성분에 더 집중된 적대적 편향을 보인다.
• KMAP 방법은 적대적 훈련된 정책가 더 희소한 취약성 패턴을 가지며, S(𝒦) 값이 Freeway의 일반 정책(53.73)에서 적대적 훈련된 정책(20.46)으로 감소함을 확인하여 많은 특징에 대한 민감도 감소를 시사한다.
• HMAP 결과는 혼합된 희소성 패턴을 보이며, 적대적 훈련된 정책의 S(𝒦) 값이 크게 감소한다(예: BankHeist에서 38.41에서 4.88로 감소). 그러나 일부 경우에 엔트로피 값은 높게 유지되어 희소성 이동의 가시성은 제한적임을 시사한다.
• 엔트로피 분석 결과, 적대적 훈련된 정책의 KMAP 기반 민감도 맵는 일반 정책보다 훨씬 낮은 엔트로피(예: Freeway에서 0.0807)를 보이며, 이는 더 국소화되고 희소한 취약성을 의미한다.
• 일부 원래의 비강건 특징에 대한 민감도를 제거함에도 불구하고, 적대적 훈련은 KMAP와 HMAP에서 명백한 국소화된 민감도 패턴이 나타나는 새로운 비강건 특징를 도입함을 증명한다.
• 결과적으로 명백한 취약성 이동이 확인되었다: 적대적 훈련은 강건성 문제를 제거하지 않고, 오히려 저주파 성분과 새로운 특징 집합으로 이동시킨다.