[논문 리뷰] Recent Advances in Adversarial Training for Adversarial Robustness

Tao Bai, Jinqi Luo외 3명|arXiv (Cornell University)|2021. 02. 02.

Adversarial Robustness in Machine Learning참고 문헌 79인용 수 43

한 줄 요약

이 설문은 적대적 학습(AT)의 최신 발전을 검토하여 적대적 강건성을 향상시키고, 새로운 분류학을 제시하며 일반화 문제를 논의하고 향후 방향을 제시합니다.

ABSTRACT

Adversarial training is one of the most effective approaches defending against adversarial examples for deep learning models. Unlike other defense strategies, adversarial training aims to promote the robustness of models intrinsically. During the last few years, adversarial training has been studied and discussed from various aspects. A variety of improvements and developments of adversarial training are proposed, which were, however, neglected in existing surveys. For the first time in this survey, we systematically review the recent progress on adversarial training for adversarial robustness with a novel taxonomy. Then we discuss the generalization problems in adversarial training from three perspectives. Finally, we highlight the challenges which are not fully tackled and present potential future directions.

연구 동기 및 목표

• 적대적 학습 방법에 대한 최신 개요와 이것들이 강건성을 어떻게 향상시키는지 제공한다.
• AT 접근법의 새로운 분류학을 도입하고 이를 강건성 이익과 관련지어 설명한다.
• AT의 일반화 격차를 논의하고 도전 과제 및 향후 연구 방향을 식별한다.

제안 방법

• 최근 AT 방법을 체계적 분류학으로 정리하고 분류한다(적대적 규제, 커리큘럼, 앙상블, 적응된 ε, 반/비지도 학습, 효율적 훈련, 및 기타 변형).
• 표 1의 실험 결과를 요약하여 방법 간 및 데이터셋 간 강건성-성능 트레이드오프를 비교한다.
• 표준 정확도, 적대적 강건성, 미지의 공격에서의 일반화 문제를 논의한다.
• 최소-최대 최적화와 일반화에서의 이론적 및 실용적 도전 과제를 강조하고 AT를 넘어서 방향을 제시한다.

실험 결과

연구 질문

• RQ1 주요 적대적 학습 방법 계열은 무엇이며 형식화와 목표에서 어떻게 차이가 나는가?
• RQ2 최근 AT 방법은 데이터셋과 공격에서 어떻게 성능을 보이며, 남아 있는 일반화 격차는 무엇인가?
• RQ3 현재 AT 접근법의 주요 한계(예: 최소-최대 최적화, 과적합, 미지의 공격)와 AT를 넘어서의 잠재적 방향은 무엇인가?

주요 결과

• 적대적 학습은 여전히 가장 효과적인 방어이지만, 많은 데이터셋에서 적대적 평가 하의 정확도는 깨끗한 정확도보다 여전히 크게 낮다.
• 다양한 AT 방법이 존재하며(규제화, 커리큘럼, 앙상블, 적응된 ε, 반/비지도 학습, 효율적 훈련) 강건성과 표준 정확도 사이의 트레이드오프가 서로 다르게 나타난다.
• 일반화 격차(적대적으로 강건한 일반화 및 미지의 공격에 대한 일반화)는 지속적이며 현재의 AT 기법으로 충분히 해결되지 않았다.
• 현재의 관행은 보통 PGD 기반 내부 최적화에 의존하는데, 이는 공식적 강건성 증명을 제공하지 않으며 계산 비용이 높을 수 있다.
• 반/비지도 데이터는 샘플 복잡도 격차를 줄이고 강건성을 향상시킬 수 있지만 보장은 여전히 제한적이다.
• AT를 가속하려는 노력(예: Free-AT, FAST-AT, YOPO)은 훈련 시간을 단축하는 데 도움이 되지만 완화되지 않으면 재앙적 과적합과 같은 문제가 발생할 수 있다.