[논문 리뷰] Adversarial Unlearning: Reducing Confidence Along Adversarial Directions

Amrith Setlur, Benjamin Eysenbach외 2명|arXiv (Cornell University)|2022. 06. 03.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 RCAD(Adversarial Directions에 따라 Confidence를 감소시키기)를 소개한다. 이는 큰 스텝의 적대적 편향을 가진 분포 외 예시를 생성함으로써 모델의 일반화 능력을 향상시키는 새로운 정규화 방법이다. 이러한 자기 생성된, 매우 편향된 예시에서 엔트로피를 최대화함으로써 RCAD는 유사한 특징을 학습하는 것을 막고, 기존의 방법들인 레이블 스무딩이나 MixUp과 함께 사용할 경우, 최소한의 계산 오버헤드로 다양한 벤치마크에서 테스트 정확도를 1–3% 향상시킨다.

ABSTRACT

Supervised learning methods trained with maximum likelihood objectives often overfit on training data. Most regularizers that prevent overfitting look to increase confidence on additional examples (e.g., data augmentation, adversarial training), or reduce it on training data (e.g., label smoothing). In this work we propose a complementary regularization strategy that reduces confidence on self-generated examples. The method, which we call RCAD (Reducing Confidence along Adversarial Directions), aims to reduce confidence on out-of-distribution examples lying along directions adversarially chosen to increase training loss. In contrast to adversarial training, RCAD does not try to robustify the model to output the original label, but rather regularizes it to have reduced confidence on points generated using much larger perturbations than in conventional adversarial training. RCAD can be easily integrated into training pipelines with a few lines of code. Despite its simplicity, we find on many classification benchmarks that RCAD can be added to existing techniques (e.g., label smoothing, MixUp training) to increase test accuracy by 1-3% in absolute value, with more significant gains in the low data regime. We also provide a theoretical analysis that helps to explain these benefits in simplified settings, showing that RCAD can provably help the model unlearn spurious features in the training data.

연구 동기 및 목표

• 대부분의 정규화 방법들이 증강된 데이터에서 신뢰도를 높이거나 분포 내 예시에서 신뢰도를 낮추는 데 한계가 있음을 고려해, 분포 외 예시 중 적대적 편향과 유사한 예시에서의 예측 신뢰도를 낮춤으로써 과적합 문제를 해결하고 새로운 인덕티브 바이어스를 도입한다.
• 증강된 데이터에서의 신뢰도를 높이거나 분포 내 예시에서의 신뢰도를 낮추는 기존 정규화 방법의 한계를 극복한다.
• 라벨이 없는 데이터나 복잡한 아키텍처가 필요 없이도 일반화 능력을 향상시키는 단순하고 효율적이며 조합 가능한 정규화 방법을 개발한다.
• 이론적 및 실증적으로, 적대적 편향을 가진 예시에서의 신뢰도를 낮추는 것이 훈련 데이터 내 임의의 특징을 제거하는 데 도움이 된다는 것을 입증한다.

제안 방법

• 표준 FGSM보다 10배 큰 크기의 적대적 편향을 적용하여 훈련 입력에 대해 분포 외 예시를 생성한다. 이는 손실 기울기를 사용한다.
• 이러한 적대적 편향을 가진 예시에서 예측 엔트로피를 최대화함으로써 모델이 불확실한 상태를 유지하도록 유도하여, 비내성적 특징에 대해 과신하는 것을 효과적으로 방지한다.
• 표준 교차 엔트로피 손실과 편향된 입력에서의 엔트로피 최대화를 조합하여 약 5줄의 코드로 표준 훈련 파이프라인에 RCAD를 통합한다.
• 두 단계 훈련 목표를 사용한다: 원본 데이터에서 표준 교차 엔트로피를 최소화하고, 큰 편향을 가진 적대적 예시에서 엔트로피를 최대화한다.
• 분류 및 회귀 작업 모두에 적용하여 일관된 테스트 정확도 향상과 로그가능도 향상을 보였다.
• 이 방법은 계산적으로 효율적이며, 표준 훈련 시간에 최대 30%의 오버헤드만 추가한다.

실험 결과

연구 질문

• RQ1 자기 생성된, 매우 편향된 적대적 예시에서의 모델 신뢰도를 낮추는 것이 분포 내 테스트 데이터에서의 일반화 능력을 향상시키는가?
• RQ2 RCAD는 고차원의 노이즈가 존재할 때 모델이 과적합하는 유사 특징을 효과적으로 제거하는가?
• RQ3 데이터 부족 상황에서 RCAD는 적대적 훈련과 레이블 스무딩과 비교해 테스트 정확도와 정확도에 미치는 영향이 어떠한가?
• RQ4 RCAD는 MixUp이나 레이블 스무딩과 같은 다른 정규화 기법과 효과적으로 조합되어 추가 성능 향상을 이끌 수 있는가?
• RQ5 간단한 설정에서 RCAD가 일반화 능력을 향상시키는 데 이론적으로 어떤 근거를 지닌다?

주요 결과

• 여러 분류 벤치마크에서 RCAD는 절대값 기준으로 테스트 정확도를 1–3% 향상시키며, 특히 데이터가 적은 상황에서 더 큰 성과를 보였다.
• 테스트 비선형 분류 작업에서 RCAD는 표준 ERM의 80.4% 대비 94.9%의 테스트 정확도를 달성하여, 임의의 특징을 효과적으로 제거하는 데 성공했다.
• RCAD는 적대적 훈련(FGSM)과 ME-ADA보다 성능이 떨어지는 분포 내 성능을 유지하거나 향상시키며, 우수한 성능을 보였다.
• 입력 차원 수와 노이즈 수준이 증가하더라도 안정적인 성능을 유지하며, 기준 모델 대비 성능 저하가 최소한이었다.
• RCAD를 레이블 스무딩이나 MixUp과 조합할 경우 추가적인 성능 향상이 나타나, 상호 보완적인 이점을 확인했다.
• 이론적 분석을 통해 RCAD는 단순한 설정에서 유사 특징을 증명 가능하게 제거할 수 있음을 입증했으며, 실증 결과와 일치하는 결과를 도출했다.