[논문 리뷰] Maximum-Entropy Adversarial Data Augmentation for Improved Generalization and Robustness

L. Zhao, Ting Liu외 2명|arXiv (Cornell University)|2020. 10. 15.

Adversarial Robustness in Machine Learning참고 문헌 78인용 수 64

한 줄 요약

정보 병목 기반 정규화기를 활용한 ME-ADA를 소개합니다. 이는 적대적 데이터 증강 단계에서 예측 엔트로피를 최대화하여 더 어려운 교란을 생성하고 도메인 시프트 및 오염에 대한 강인성을 향상시킵니다.

ABSTRACT

Adversarial data augmentation has shown promise for training robust deep neural networks against unforeseen data shifts or corruptions. However, it is difficult to define heuristics to generate effective fictitious target distributions containing "hard" adversarial perturbations that are largely different from the source distribution. In this paper, we propose a novel and effective regularization term for adversarial data augmentation. We theoretically derive it from the information bottleneck principle, which results in a maximum-entropy formulation. Intuitively, this regularization term encourages perturbing the underlying source distribution to enlarge predictive uncertainty of the current model, so that the generated "hard" adversarial perturbations can improve the model robustness during training. Experimental results on three standard benchmarks demonstrate that our method consistently outperforms the existing state of the art by a statistically significant margin.

연구 동기 및 목표

• 적대적 데이터 증강을 통해 보이지 않는 도메인 시프트와 오염에 대한 강건한 일반화를 고무한다.
• 정보 이론적 정규화를 포함시켜 예측 불확실성을 키우는 더 어려운 타깃 분포를 생성한다.
• 데이터를 증강하기 위해 최대 엔트로피 원리를 이용한 계산적으로 효율적인 최대화 단계를 개발한다.
• 분류 설정에서 최대 엔트로피 정규화를 구현하기 위한 이론적 지지와 실용적 지침을 제공한다.]
• method([
• title_subpart_2

제안 방법

• 교차 엔트로피에 상호정보 I(X;Z) 항을 보강하여 감독된 정보 병목(IB) 목표를 형식화한다.
• IB 목표를 최대 엔트로피 정규화기로 완화·근사하고 I(X;Z)를 H(Ŷ)로 대체하여 최대화 단계에서 계산적으로 실현 가능하도록 한다.
• 결과로 얻은 미니맥스 문제를 데이터 증강이 있는 최대화 단계와 모델 업데이트가 있는 최소화 단계를 포함하는 반복 학습 루프를 통해 푼다.
• 소프트맥스 출력으로부터 H(Ŷ)를 경험적으로 추정하고 강건한 대리 손실 φγ를 사용하여 적대적 교란을 전파한다.
• 입력을 섭동시켜 L_CE + β H(Ŷ) − γ cθ 를 최대화하는 최대화 단계를 구현하여 어려운 적대적 예제를 생성한다.
• ME-ADA에서 예측 불확실성을 더 잘 포착하기 위해 확률적 네트(BNNs)로 확장하는 것을 선택적으로 고려한다.]
• research_questions([“정보 병목에 근거한 정보 이론적 정규화기가 적대적 데이터 증강의 효과를 향상시킬 수 있는가?”,“I(X;Z) 항을 계산 가능 한 엔트로피 대리항 H(Ŷ)로 대체하면 도메인 시프트와 오염에 대한 강건성이 보존되거나 향상되는가?”,“ME-ADA 프레임워크가 여러 도메인과 아키텍처에서 효과적인가(예: MNIST 시프트, PACS, CIFAR-10/100-C)?]
• key_findings([“ME-ADA는 여러 벤치마크에서 최첨단 기준선 대비 통계적으로 유의미한 향상을 달성한다.”,“MNIST 도메인 시프트 과제에서 ME-ADA(또는 ME-ADA with BNN)는 ERM, ADA, PAR을 능가하고 대상 도메인 간 평균 정확도에서 최고를 기록한다.”,“PACS에선 도메인 식별이 없는 방법 중에서 최고 성능을 보이며 도메인 인식 기반 방법에 근접한다.”,“CIFAR-10-C 및 CIFAR-100-C에서 ME-ADA는 다양한 아키텍처 전반에 걸쳐 강인성을 크게 향상시키고 종종 이전 방법보다 몇 포인트 높다.”,“경험적 엔트로피 기반 대리항은 비결정적 네트워크나 드롭아웃이 활성화된 네트워크에서도 효과를 유지하며 이론적 지지가 있다.]
• table_headers([“SVHN”, “MNIST-M”, “SYN”, “USPS”, “평균”])
• table_rows([[“42.00”, “63.98”, “49.80”, “79.10”, “58.72”], [“42.56”, “63.27”, “50.39”, “81.04”, “59.32”]])

실험 결과

연구 질문

• RQ1 정보 병목에 근거한 정보 이론적 정규화기가 적대적 데이터 증강의 효과를 향상시킬 수 있는가?
• RQ2 I(X;Z) 항을 계산 가능 한 엔트로피 대리항 H(Ŷ)로 대체하면 도메인 시프트와 오염에 대한 강건성이 보존되거나 향상되는가?
• RQ3 ME-ADA 프레임워크가 여러 도메인과 아키텍처에서 효과적인가(예: MNIST 시프트, PACS, CIFAR-10/100-C)?

주요 결과

• ME-ADA는 여러 벤치마크에서 최첨단 기준선 대비 통계적으로 유의미한 향상을 달성한다.
• MNIST 도메인 시프트 과제에서 ME-ADA(또는 ME-ADA with BNN)는 ERM, ADA, PAR을 능가하고 대상 도메인 간 평균 정확도에서 최고를 기록한다.
• PACS에선 도메인 식별이 없는 방법 중에서 최고 성능을 보이며 도메인 인식 기반 방법에 근접한다.
• CIFAR-10-C 및 CIFAR-100-C에서 ME-ADA는 다양한 아키텍처 전반에 걸쳐 강인성을 크게 향상시키고 종종 이전 방법보다 몇 포인트 높다.
• 경험적 엔트로피 기반 대리항은 비결정적 네트워크나 드롭아웃이 활성화된 네트워크에서도 효과를 유지하며 이론적 지지가 있다.]