[논문 리뷰] Learning with Bad Training Data via Iterative Trimmed Loss Minimization

Yanyao Shen, Sujay Sanghavi|arXiv (Cornell University)|2018. 10. 28.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 62

한 줄 요약

이 논문은 Iterative Trimmed Loss Minimization (ITLM)을 제안합니다. 이는 저손실 샘플을 반복적으로 선택하고 재훈련하여 오염된 데이터에도 학습하는 방법이며, 이론적 보장과 강력한 실험적 결과를 일반화 선형 모델에 대해 제공합니다. 또한 노이즈 라벨, 나쁜 이미지, 백도어 공격에 걸쳐 강력한 경험적 결과를 보여줍니다.

ABSTRACT

In this paper, we study a simple and generic framework to tackle the problem of learning model parameters when a fraction of the training samples are corrupted. We first make a simple observation: in a variety of such settings, the evolution of training accuracy (as a function of training epochs) is different for clean and bad samples. Based on this we propose to iteratively minimize the trimmed loss, by alternating between (a) selecting samples with lowest current loss, and (b) retraining a model on only these samples. We prove that this process recovers the ground truth (with linear convergence rate) in generalized linear models with standard statistical assumptions. Experimentally, we demonstrate its effectiveness in three settings: (a) deep image classifiers with errors only in labels, (b) generative adversarial networks with bad training images, and (c) deep image classifiers with adversarial (image, label) pairs (i.e., backdoor attacks). For the well-studied setting of random label noise, our algorithm achieves state-of-the-art performance without having access to any a-priori guaranteed clean samples.

연구 동기 및 목표

• 오류 유형에 대한 사전 지식 없이 오염된 데이터로부터 학습하기 위한 단일의 일반적인 접근법을 제시한다.
• 깨끗한 샘플이 일반적으로 손실이 초기 훈련에서 corruped 샘플보다 더 낮게 나타난다는 것을 보인다.
• 샘플 필터링과 모델 적합을 교대로 수행하는 반복 알고리즘을 개발하고 분석한다.
• 분류, GANs, 백도어 방어 과제에서 이 방법의 효과를 입증한다.
• 다양한 오염 하에서 일반화 선형 모델의 이론적 수렴 보장을 확립한다.

제안 방법

• 트리밍된 손실 목적함수를 정의하고, 현재 손실이 가장 작은 크기 ⌊αn⌋의 부분집합을 선택하고 이 부분집합에서 모델을 업데이트하는 교대 방식으로 반복적으로 최적화될 수 있음을 보인다.
• ITLM을 반복적 절차로 설명한다: 각 라운드 t에서 θ_t 하에서 손실이 가장 작은 샘플의 집합 S_t를 선택한 다음, S_t에서 표준 훈련 단계를 통해 θ_{t+1}를 업데이트한다.
• 구성 가능한 단계 수 M, 배치 크기 N, 학습률 η를 갖는 모델 업데이트 루틴으로 BatchSGD를 사용한다.
• 손상된 출력이 있는 일반화 선형 모델에서 라운드당 수렴 경한을 보이는 이론적 분석을 제시한다.
• 비선형 단조 링크 함수 및 혼합 데이터 설정으로 해석을 확장하여 선형 또는 거의 선형 수렴이 성립하는 조건을 보여준다.

실험 결과

연구 질문

• RQ1 일부 학습 샘플이 손상된 경우에도 하나의 일반적인 반복 프레임워크가 ground-truth 모델을 복구할 수 있는가?
• RQ2 일반화 선형 및 비선형 모델에 대해 임의의, 무작위의 또는 혼합 손상에 따른 ITLM의 수렴 보장은 무엇인가?
• RQ3 노이즈 라벨, 나쁜 이미지, 백도어 공격이 있는 딥 네트워크에서 ITLM이 최첨단 방법들과 비교하여 실험적으로 어떤 성능을 보이는가?
• RQ4 초기 중지와 깨끗한 샘플 비율 α의 잘못된 설정이 과제 전반에서 ITLM의 효과에 영향을 미치는가?
• RQ5 학습 중에 오염 샘플을 필터링하여 백도어 공격으로부터 ITLM이 방어할 수 있는가?

주요 결과

• ITLM은 일반화 선형 모델에서 다양한 오염 유형하에 표준 가정 하에 적어도 선형으로 참값으로 수렴한다.
• 딥러닝 설정에서 ITLM은 CIFAR-10과 MNIST에서 무작위 및 체계적 라벨 노이즈 하에 순진한 학습보다 정확도를 향상시키며, 사전 깨끗한 샘플이 필요하지 않다.
• ITLM은 혼합 데이터로 학습될 때 GAN 훈련 성능을 향상시키고, 반복에 따라 제너레이터를 깨끗한 샘플에 비슷한 샘플에 점진적으로 집중시킨다.
• 백도어 공격 시나리오 전반에서 ITLM은 공격적으로 주입된 샘플을 대폭 감소시키고 오염된 테스트 세트에서 두 번째 작업 정확도를 0에 가깝게 만들 수 있으면서도 깨끗한 데이터에서의 정확도는 유지한다.
• 이론적 결과는 임의의 또는 무작위 손상 하에서 라운드당 오차 수축을 보이고, 혼합 모델 시나리오에서 거의 선형 수렴을 나타내며, α가 1에 가까워질 때 깨끗한 데이터 환경에서 일관성을 회복한다.