[논문 리뷰] Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks

Tao Bai, Jinqi Luo외 1명|arXiv (Cornell University)|2020. 11. 03.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 5

한 줄 요약

이 종합적 서베이는 딥 네ural 네트워크에서의 적대적 강건성에 대해 광범위한 분석을 제공하며, 적대적 공격, 강건성 평가 벤치마크, 그리고 강건성과 자연적 정확도 사이의 트레이드오프를 다룹니다. 최근 적대적 취약성의 근본 원인을 이해하는 데의 진전을 강조하고, 계산 비용과 일반화 트레이드오프를 해결하면서 강건성을 향상시키는 새로운 훈련 기법을 논의합니다.

ABSTRACT

Adversarial examples are inevitable on the road of pervasive applications of deep neural networks (DNN). Imperceptible perturbations applied on natural samples can lead DNN-based classifiers to output wrong prediction with fair confidence score. It is increasingly important to obtain models with high robustness that are resistant to adversarial examples. In this paper, we survey recent advances in how to understand such intriguing property, i.e. adversarial robustness, from different perspectives. We give preliminary definitions on what adversarial attacks and robustness are. After that, we study frequently-used benchmarks and mention theoretically-proved bounds for adversarial robustness. We then provide an overview on analyzing correlations among adversarial robustness and other critical indicators of DNN models. Lastly, we introduce recent arguments on potential costs of adversarial training which have attracted wide attention from the research community.

연구 동기 및 목표

• 딥 네ural 네트워크에서의 적대적 강건성에 대한 최근 진전을 체계적으로 개괄하는 것.
• 적대적 강건성과 자연적 정확도 사이의 트레이드오프, 그리고 강건성과 훈련 효율성 사이의 트레이드오프를 분석하는 것.
• 적대적 훈련의 한계와 과제를 검토하는 것, 특히 계산 비용과 증명 불가능성 포함.
• 신뢰할 수 있고 강건한 딥 러닝 모델을 구축하기 위한 열린 문제와 향후 연구 방향을 식별하는 것.
• 경험적, 이론적, 아키텍처적 관점에서 다양한 시각을 통합하여, 왜 모델이 적대적 예시에 취약한지에 대한 통찰을 도출하는 것.

제안 방법

• 자연 입력 주변의 ε-구내에서 적대적 예제를 기반으로 훈련하는 적대적 훈련을 형식화하기 위해 최소-최대 최적화 프레임워크를 사용한다.
• 훈련 중에 강건한 적대적 예제를 생성하기 위해 주로 프로젝티드 그래디언트 디센트(PGD)를 활용한다.
• CIFAR-10 및 ImageNet과 같은 데이터셋에서 적대적 강건성을 평가하기 위해 다양한 벤치마크(FGSM, CW, DeepFool 등)를 검토하고 비교한다.
• 적대적 강건성에 대한 이론적 한계를 분석하고, 강건성과 모델의 일반화 능력, 잠재 공간 성질 간의 상관관계를 조사한다.
• 계산 비용을 줄이면서도 강건성을 유지하는 최근의 효율적 훈련 방법(FREE, FAST, GradAlign 등)을 평가한다.
• 포트리아진의 최대 원리(Pontryagin’s Maximum Principle)를 적용하여 첫 번째 레이어의 가중치와 적대적 편향 간의 결합을 분석하고, 이로 인해 YOPO—레이어별 적대적 훈련 알고리즘—를 도출한다.

실험 결과

연구 질문

• RQ1 딥 네ural 네트워크에서의 적대적 취약성의 근본 원인은 무엇인가요?
• RQ2 적대적 강건성과 자연적 정확도 사이의 상관관계는 어떻게 되며, 이 트레이드오프는 피할 수 없는가요?
• RQ3 적대적 훈련의 계산 비용과 일반화 비용은 무엇이며, 어떻게 완화할 수 있나요?
• RQ4 이론적 한계와 아키텍처 설계는 적대적 강건성을 얼마나 향상시킬 수 있나요?
• RQ5 FREE 및 FAST와 같은 효율적 훈련 방법은 과도한 계산 비용 없이 PGD 기반 훈련과 비슷한 강건성을 달성할 수 있나요?

주요 결과

• 적대적 강건성은 높은 자연적 정확도와 본질적으로 충돌하지 않으며, 드롭아웃 및 도메인 적응 기법을 통해 이 트레이드오프를 완화할 수 있음이 최근 연구에서 입증됨.
• ImageNet 기반 모델 평가 결과, 모델 정확도의 로그와 적대적 강건성 사이에 선형으로 음의 상관관계가 존재함.
• FREE 및 FAST와 같은 효율적 훈련 방법은 강건성은 유지하면서도 훈련 시간을 크게 단축함.
• GradAlign은 편향 집합 내에서 그래디언트의 일치도를 최대화함으로써 적대적 훈련에서 치명적인 과적합을 방지함.
• 포트리아진의 최대 원리를 기반으로 한 YOPO는 첫 번째 레이어에 집중적으로 적대적 계산을 수행함으로써 강건성에 손상을 주지 않으면서도 훈련 효율성을 향상시킴.
• 이론적 분석을 통해 적대적 편향이 첫 번째 레이어의 가중치와 강하게 연결되어 있음을 확인하였으며, 이는 적대적 훈련의 최적화 역학에 대한 통찰을 제공함.