[논문 리뷰] Understanding Generalization in Adversarial Training via the Bias-Variance Decomposition

Yaodong Yu, Zitong Yang외 3명|arXiv (Cornell University)|2021. 03. 17.

Adversarial Robustness in Machine Learning참고 문헌 86인용 수 11

한 줄 요약

이 논문은 편향-분산 분해를 사용하여 적대적 훈련 모델의 일반화 갭을 조사하며, 적대적 편향 반경 ε과 함께 편향이 단조롭게 증가하고 분산이 강건한 보간 임계점 근처에서 최고조화를 이룬다는 것을 밝혀낸다. 기대와는 다르게 단일 피크를 보이는 분산 행동은 적대적 강건성에 대한 이론적 설명을 평가하는 데 핵심적인 진단 도구를 제공한다.

ABSTRACT

Adversarially trained models exhibit a large generalization gap: they can interpolate the training set even for large perturbation radii, but at the cost of large test error on clean samples. To investigate this gap, we decompose the test risk into its bias and variance components and study their behavior as a function of adversarial training perturbation radii ($\varepsilon$). We find that the bias increases monotonically with $\varepsilon$ and is the dominant term in the risk. Meanwhile, the variance is unimodal as a function of $\varepsilon$, peaking near the interpolation threshold for the training set. This characteristic behavior occurs robustly across different datasets and also for other robust training procedures such as randomized smoothing. It thus provides a test for proposed explanations of the generalization gap. We find that some existing explanations fail this test--for instance, by predicting a monotonically increasing variance curve. This underscores the power of bias-variance decompositions in modern settings-by providing two measurements instead of one, they can rule out more explanations than test accuracy alone. We also show that bias and variance can provide useful guidance for scalably reducing the generalization gap, highlighting pre-training and unlabeled data as promising routes.

연구 동기 및 목표

• 적대적 훈련 모델에서 큰 일반화 갭의 근본 원인을 이해하기 위해, 모델이 강건한 훈련 오차는 거의 0에 도달하지만 청소년 데이터에 대한 테스트 오차는 높다는 점을 분석한다.
• 적대적 편향 반경 ε에 따라 편향과 분산이 어떻게 변화하는지 분석한다.
• 기존의 일반화 갭에 대한 이론적 설명들이 관측된 편향-분산 역학과 일관한지 평가한다.
• 관측된 편향-분산 패턴이 유지되거나 붕괴되는 조건을 규명하여 모델 설계 및 일반화 향상에 기여한다.

제안 방법

• 교차 엔트로피 손실과 모델 가중치에 대한 기대 로그확률 평균을 사용하여 테스트 리스크를 편향 및 분산 구성요소로 경험적으로 분해한다.
• 편향은 진짜 클래스 확률과 평균 예측 확률 간의 기대 발산으로 계산하고, 분산은 기대 로그확률의 음의 로그정규화로 계산한다.
• ℓ∞-적대적 훈련과 다수의 데이터셋(예: CIFAR-10)에서의 랜덤화 스무딩을 사용하여 훈련된 모델에 분해를 적용한다.
• 모델 유형, 데이터 차원, 노이즈 주입 전략(예: 고정된 노이즈 대 비례 노이즈)을 변화시켜 관측된 패턴의 강건성을 테스트한다.
• 편향-분산 행동을 진단 기준으로 사용하여 적대적 훈련의 단순화된 개념적 모델의 타당성을 검증하거나 기각한다.
• 로지스틱 회귀 및 고차원 모델을 분석하여 비선형성, 데이터 차원, 적응형 노이즈가 편향과 분산을 어떻게 형성하는지 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 편향 반경 ε에 따라 적대적 훈련 모델의 편향은 어떻게 변화하는가?
• RQ2 편향 반경 ε에 따라 분산은 어떻게 변화하며, 단일 피크 패턴을 보이는가?
• RQ3 분산의 피크가 항상 강건한 보간 임계점 근처에서 발생하는가, 즉 모델이 더 이상 강건하게 훈련 데이터를 보간하지 않는 최소 ε에서 발생하는가?
• RQ4 관측된 편향-분산 패턴은 다양한 데이터셋, 모델 아키텍처, 랜덤화 스무딩과 같은 강건한 훈련 방법에 대해 강건한가?
• RQ5 편향-분산 분해는 적대적 일반화 갭에 대한 이론적 설명의 타당성을 평가하는 데 진단 도구로 사용될 수 있는가?

주요 결과

• 편향은 편향 반경 ε과 함께 단조롭게 증가하며, 연구된 모든 데이터셋과 모델에서 테스트 리스크를 지배한다.
• 분산은 ε에 대해 단일 피크를 보이며, 강건한 보간 임계점 근처에서 최고조화를 이룬다—즉, 모델이 더 이상 강건하게 훈련 데이터를 보간하지 않는 최소 ε에서 발생한다.
• 단일 피크 분산 패턴은 여러 데이터셋과 강건한 훈련 방법(예: 미니배치당 독립적인 가우시안 노이즈를 사용한 랜덤화 스무딩)에 대해 강건하다.
• 노이즈가 에포크 전체에 걸쳐 고정될 경우 패턴이 붕괴되며, 이는 공격의 동적 특성이 관측된 행동에 필수적임을 시사한다.
• 저차원 모델에서는 관측된 편향-분산 패턴이 성립하지 않으며, 이는 고차원 데이터 기하학이 이 현상에 핵심적임을 시사한다.
• 관측된 행동은 일부 기존 설명(예: 분산이 단조롭게 증가한다는 예측)을 무효화하며, 편향-분산 분해가 진단 도구로서의 힘을 입증한다.