[논문 리뷰] Data Quality Matters For Adversarial Training: An Empirical Study

Chengyu Dong, Liyuan Liu외 1명|arXiv (Cornell University)|2021. 02. 15.

Adversarial Robustness in Machine Learning참고 문헌 97인용 수 4

한 줄 요약

이 논문은 적대적 훈련에서의 핵심 과제들—내구성 과적합, 내구성 과대평가, 내구성-정확도 트레이드오프—의 근본 원인으로 훈련 세트 내 저품질 데이터를 규명한다. 적대적 훈련 중 학습 안정성으로 데이터 품질을 측정함으로써, 저품질 예제를 제거하면 이러한 문제들이 크게 감소하며, 이는 더 신뢰할 수 있는 내구성과 최소한의 정확도 하락을 이끈다.

ABSTRACT

Multiple intriguing problems are hovering in adversarial training, including robust overfitting, robustness overestimation, and robustness-accuracy trade-off. These problems pose great challenges to both reliable evaluation and practical deployment. Here, we empirically show that these problems share one common cause -- low-quality samples in the dataset. Specifically, we first propose a strategy to measure the data quality based on the learning behaviors of the data during adversarial training and find that low-quality data may not be useful and even detrimental to the adversarial robustness. We then design controlled experiments to investigate the interconnections between data quality and problems in adversarial training. We find that when low-quality data is removed, robust overfitting and robustness overestimation can be largely alleviated; and robustness-accuracy trade-off becomes less significant. These observations not only verify our intuition about data quality but may also open new opportunities to advance adversarial training.

연구 동기 및 목표

• 적대적 훈련에서 데이터 품질의 역할을 조사하며, 특히 내구성 과적합, 내구성 과대평가, 내구성-정확도 트레이드오프에 미치는 영향을 다룬다.
• 적대적 훈련 중 학습 안정성에 기반한 데이터 품질 측정 전략을 개발한다.
• 저품질 데이터가 적대적 내구성에 악영향을 미치고 평가 지표를 왜곡함을 경험적으로 입증한다.
• 고품질 데이터를 사용하면 내구성-정확도 트레이드오프가 최소화되고 과적합이 감소하는 바탕이 되는 내구성 향상이 가능함을 보여준다.
• 기존의 모델 아키텍처나 최적화에 초점을 맞춘 연구들과는 달리, 데이터 중심의 통합적 분석을 제공한다.

제안 방법

• 적대적 훈련 중 예제의 안정성에 기반한 데이터 품질 지표를 제안—불안정한 학습은 저품질 데이터를 나타낸다.
• 제안된 지표를 사용해 CIFAR-10, CIFAR-100, Tiny-ImageNet 데이터셋을 고품질 및 저품질 서브셋으로 분할하며, 클래스 균형과 동일한 크기를 확보한다.
• ResNet과 Wide ResNet 아키텍처를 사용해 PGD 및 TRADES를 활용해 고품질 대비 저품질 서브셋에서의 적대적 훈련을 비교하는 제어 실험을 수행한다.
• 특정 클래스에 대해 타겟 공격을 사용한 피니튜닝을 통해 내구성 손실과 인식 가능성 저하를 평가한다.
• PGD-10과 Auto Attack 평가 간 격차를 통해 내구성 과대평가를 측정하고, 경쟁 클래스와 저품질 예제의 역할을 분석한다.
• 적대적 공격의 내부 최대화 과정을 분석해 저품질 데이터가 어떻게 적대적 편향 효과를 감소시키는지 설명한다.

실험 결과

연구 질문

• RQ1 학습 안정성으로 측정된 데이터 품질이 적대적 내구성과 훈련 동역학에 어떤 영향을 미치는가?
• RQ2 저품질 데이터가 적대적 훈련에서 내구성 과적합에 얼마나 기여하는가?
• RQ3 저품질 데이터가 내구성 과대평가를 유도할 수 있으며, 만약 그렇다면 어떤 조건에서 그러한 현상이 발생하는가?
• RQ4 데이터 품질이 적대적 훈련에서 내구성-정확도 트레이드오프에 어떤 영향을 미치는가?
• RQ5 저품질 데이터가 내구성에 악영향을 미치는 메커니즘은 무엇인지, 특히 특징의 모호성과 경쟁 클래스를 통해 어떻게 작용하는가?

주요 결과

• 적대적 훈련 중 불안정한 학습이 관찰되는 저품질 데이터는 내구성에 악영향을 미치며, 심지어 해로울 수 있다.
• 저품질 데이터에서의 적대적 훈련은 모델이 클래스 간으로 내구적으로 일반화하지 못하는 심각한 내구성 과적합을 초래한다.
• 두 '경쟁' 클래스(예: 항공기와 함선)에서 유래한 저품질 예제를 고품질 서브셋에 추가하면 내구성 과대평가가 크게 증가하며, 이로 인해 과대평가 격차가 뚜렷하게 증가한다.
• 고품질 데이터만 사용할 경우 내구성-정확도 트레이드오프는 최소화되어 있으며, 늦은 훈련 단계에서나 눈에 띄게 나타나지만, 저품질 데이터를 사용할 경우 트레이드오프가 뚜렷하게 드러난다.
• 저품질 데이터에서의 피니튜닝은 타겟 클래스의 내구성 정확도를 심각하게 떨어뜨려 내구성 인식 가능성 손실을 유도하지만, 고품질 데이터에서의 피니튜닝은 성능을 유지한다.
• 내구성 과대평가의 메커니즘은 저품질 데이터의 모호한 특징에 기인하며, 이는 서로 다른 클래스의 특징을 구분하기 어려워지게 하여 적대적 공격자가 효과적인 편향을 생성하는 능력을 저하시킨다.