[논문 리뷰] On Data Augmentation and Adversarial Risk: An Empirical Analysis

Hamid Eghbal-zadeh, Khaled Koutini외 6명|arXiv (Cornell University)|2020. 07. 06.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 7

한 줄 요약

이 논문은 딥러닝에서 데이터 증강이 적대적 견고성에 미치는 영향을 조사하며, 모델의 취약도를 평가하기 위해 새로운 지표인 '예측 변화 스트레스'를 제안한다. 증강으로 인한 분류 정확도 향상이 항상 적대적 위험을 낮추는 것은 아니며, 원본 데이터보다 증강 데이터가 모델 행동에 훨씬 더 큰 영향을 미친다는 점을 발견하여, 데이터 및 작업 특성에 따라 신중한 선택이 필요하다고 결론내린다.

ABSTRACT

Data augmentation techniques have become standard practice in deep learning, as it has been shown to greatly improve the generalisation abilities of models. These techniques rely on different ideas such as invariance-preserving transformations (e.g, expert-defined augmentation), statistical heuristics (e.g, Mixup), and learning the data distribution (e.g, GANs). However, in the adversarial settings it remains unclear under what conditions such data augmentation methods reduce or even worsen the misclassification risk. In this paper, we therefore analyse the effect of different data augmentation techniques on the adversarial risk by three measures: (a) the well-known risk under adversarial attacks, (b) a new measure of prediction-change stress based on the Laplacian operator, and (c) the influence of training examples on prediction. The results of our empirical analysis disprove the hypothesis that an improvement in the classification performance induced by a data augmentation is always accompanied by an improvement in the risk under adversarial attack. Further, our results reveal that the augmented data has more influence than the non-augmented data, on the resulting models. Taken together, our results suggest that general-purpose data augmentations that do not take into the account the characteristics of the data and the task, must be applied with care.

연구 동기 및 목표

• 데이터 증강으로 인한 분류 성능 향상이 항상 적대적 위험 감소와 관련이 있는가를 조사하는 것.
• 적대적 흐트러짐에 대한 모델 견고성 평가를 위한 새로운 정량적 지표인 '예측 변화 스트레스'를 개발하는 것.
• 영향 함수를 사용하여 증강된 데이터와 원본 데이터의 상대적 영향을 분석하여 모델 행동에 미치는 영향을 분석하는 것.
• 일반화 능력과 적대적 견고성 측면에서 기존의 표준 데이터 증강 기법 간의 상호 교환 관계를 평가하는 것.
• 데이터 및 작업 특성과 일치시키기 위해 적대적 위험을 최소화하는 데이터 증강 전략을 선택하는 데 도움을 주는 지침을 제공하는 것.

제안 방법

• 테스트 입력 주변의 국소적 예측 불안정성을 추정하기 위해 라플라시안 연산자를 기반으로 한 새로운 측정 지표인 예측 변화 스트레스를 제안한다.
• 개별 훈련 샘플(원본 및 증강)이 모델의 손실과 예측에 기여하는 정도를 정량화하기 위해 영향 함수를 활용한다.
• 세 가지 유형의 데이터 증강 기법을 적용: 전통적인 기하 변환, Mixup, CIFAR-10에 대한 GAN 기반 증강.
• 다양한 증강 전략에 대한 견고성 평가를 위해 체계적인 적대적 공격(FGSM, PGD)을 수행한다.
• 증강된 샘플과 증강되지 않은 샘플 간의 영향 점수 분포를 비교하기 위해 통계 분석을 실시한다.
• 다양한 공격 강도와 증강 강도를 가진 제거 실험을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 데이터 증강으로 인한 분류 오차 감소가 항상 낮은 적대적 위험을 초래하는가?
• RQ2 다양한 증강 방법에 걸쳐 예측 변화 스트레스는 적대적 견고성과 어떻게 관련이 있는가?
• RQ3 증강된 훈련 샘플이 원본 훈련 샘플에 비해 최종 모델에 얼마나 큰 영향을 미치는가?
• RQ4 어떤 데이터 증강 전략이 적대적 공격에 대해 가장 견고한 모델을 생성하는가?
• RQ5 예측 변화 스트레스는 모델 평가에서 적대적 위험의 신뢰할 수 있는 대체 지표가 될 수 있는가?

주요 결과

• Mixup는 분류 정확도를 향상시켰지만, 테스트된 모든 방법 중에서 가장 높은 적대적 위험을 초래하여, 더 높은 정확도가 더 좋은 견고성을 의미한다는 가정을 반박한다.
• GAN 기반 증강은 가장 낮은 적대적 위험을 달성하여, 생성 모델 기반 증강이 정확도 향상은 적지만 견고성을 향상시킬 수 있음을 시사한다.
• 전문가가 설계한 기하 변환 증강 기법은 가장 낮은 분류 오차를 기록했으며, 가장 높은 적대적 견고성을 보였으며, 강력한 인도적 편향이 정확도와 견고성 향상에 기여함을 시사한다.
• 예측 변화 스트레스는 적대적 위험과 강하게 상관된다: 높은 스트레스를 보이는 모델은 적대적 공격에 더 취약하다.
• 증강된 훈련 샘플은 증강되지 않은 샘플보다 항상 더 넓은 영향 점수 범위를 보였으며, 이는 증강 데이터가 모델 훈련에 훨씬 더 큰 영향을 미친다는 것을 시사한다.
• 증강 샘플의 확률적 특성과 다양성으로 인해, 이는 훈련 도중 한 번만 나타나기 때문에 원본 데이터보다 모델 행동에 더 큰 영향을 미친다.