[논문 리뷰] Adversarial Training: A Survey

Mengnan Zhao, Lihe Zhang외 4명|arXiv (Cornell University)|2024. 10. 19.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 종합 검토는 딥러닝에서 적대적 훈련(AT)에 대한 포괄적인 개요를 제공하며, 데이터 강화, 네트워크 설계, 훈련 설정의 세 가지 차원에서 방법을 체계적으로 분류한다. 주요 과제로는 치명적인 과적합과 공정성 문제를 밝히고, 통합된 공정성 프레임워크, 해석 가능성 향상, 자원 효율적인 AT 기법과 같은 향후 연구 방향을 제안한다.

ABSTRACT

Adversarial training (AT) refers to integrating adversarial examples -- inputs altered with imperceptible perturbations that can significantly impact model predictions -- into the training process. Recent studies have demonstrated the effectiveness of AT in improving the robustness of deep neural networks against diverse adversarial attacks. However, a comprehensive overview of these developments is still missing. This survey addresses this gap by reviewing a broad range of recent and representative studies. Specifically, we first describe the implementation procedures and practical applications of AT, followed by a comprehensive review of AT techniques from three perspectives: data enhancement, network design, and training configurations. Lastly, we discuss common challenges in AT and propose several promising directions for future research.

연구 동기 및 목표

• 최근 데이터, 아키텍처, 훈련 설정의 세 가지 차원에서의 적대적 훈련(AT) 발전에 대한 통합적이고 종합적인 리뷰가 부족한 문제를 해결하기 위해.
• 치명적인 과적합, 공정성 문제, 높은 계산 비용과 같은 AT의 핵심 과제를 식별하고 분석하기 위해.
• 통합된 공정성 프레임워크, 설명 가능성 향상, 자원 효율적인 AT 방법과 같은 새로운 연구 방향을 제안하기 위해.
• 3D 시각, 오디오 처리, 개인화 의료를 포함한 18개의 미사용된 딥러닝 과제에 AT를 적용할 수 있는지의 타당성을 평가하기 위해.

제안 방법

• AT 기법을 세 가지 차원으로 분류한다: 데이터 강화(원천, 일반, 적대적 데이터 증강), 네트워크 설계(CNNs, GNNs, Transformers 등의 아키텍처 및 배치 정규화, 활성화 함수 등의 구성 요소), 훈련 설정(손실 함수, 레이블 수정, 최적화 전략).
• 화이트박스 및_BLK박스 공격을 통한 적대적 데이터 생성을 분석하며, 다단계 및 단일단계 방법을 포함하고, 변형 초기화 전략(랜덤, 학습 가능한, 사전 지침 기반)을 탐구한다.
• 안정성과 강건성을 향상시키기 위해 레이블 스무딩, 레이블 인터폴레이션, 가중치 정규화와 같은 고급 훈련 기법을 도입하고 평가한다.
• 입력 유형(정상 또는 적대적)에 따라 배치 정규화(BN) 레이어를 동적으로 선택하는 적응형 배치 정규화 메커니즘을 제안하여 추론 시 자동으로 처리할 수 있도록 한다.
• 워샤르슈타인 거리와 최대 평균 차이(MMD)와 같은 분포 유사도 측정 지표를 활용하여 원본 데이터 분포와 밀도가 높은 적대적 예제를 생성한다.
• 빠른 AT를 모델 프루닝과 통합하여, 전체 모델에 적용하기 전에 프루닝된 모델에서 병렬로 적대적 예제를 생성함으로써 계산 비용을 절감할 것을 권장한다.

실험 결과

연구 질문

• RQ1 어떻게 데이터, 아키텍처, 훈련 설정의 세 차원에서 적대적 훈련을 체계적으로 분류할 수 있는가?
• RQ2 치명적인 과적합이 적대적 훈련에서 발생하는 주요 원인과 영향은 무엇이며, 이를 긍정적으로 활용할 수 있는가?
• RQ3 층 간, 클래스 간, 샘플 간 수준에서 적대적 강건성의 공정성을 통합적으로 어떻게 확보할 수 있는가?
• RQ4 수동으로 입력 유형을 지정하지 않고도 정상 및 적대적 예제를 동시에 탐지, 분류, 강건하게 처리할 수 있는 모델를 설계할 수 있는가?
• RQ5 어떤 미사용된 딥러닝 과제에서 적대적 훈련이 측정 가능한 이점을 제공할 수 있으며, 그 과제에서의 주요 과제는 무엇인가?

주요 결과

• 적대적 훈련은 의료 영상 분할, 자율주행, 이상 탐지 등 다양한 분야에서 강건성을 크게 향상시킨다.
• 레이블 스무딩, 기울기 기반 필터링, 학습 가능한 변형 초기화와 같은 기법은 데이터 다양성과 모델 일반화 능력을 향상시킨다.
• AT에서 발생하는 치명적인 과적합은 정상-적대적 정확도 트레이드오���을 해결하는 데 활용될 수 있지만, 적응형 공격에는 여전히 취약하다.
• 분산 및 자원 인지 훈련 전략(예: 프루닝 기반 빠른 AT)은 계산 비용을 줄이면서도 강건성을 유지하는 데 기여할 수 있다.
• 층, 클래스, 샘플 수준의 계층적 공정성 문제를 해결하기 위해 통합된 공정성 프레임워크가 필요하다.
• 3D 인스턴스 세그멘테이션, 오디오 복원, 개인화 의료를 포함한 18개의 핵심 딥러닝 과제에서 적대적 훈련은 아직 미사용되어 있어 상당한 잠재력이 남아 있다.