[논문 리뷰] Self-Adaptive Training: beyond Empirical Risk Minimization

Lang Huang, Chao Zhang외 1명|arXiv (Cornell University)|2020. 02. 24.

Machine Learning and Data Classification참고 문헌 54인용 수 88

한 줄 요약

이 논문은 누적된 모델 예측을 활용하여 학습 대상과 샘플 가중치를 적응시키는 Self-Adaptive Training(자기적응 학습) 기법을 제시하여 추가 계산 없이도 라벨 및 입력 노이즈에 대한 견고성을 향상시킵니다. 이 방법은 노이즈 및 적대적 설정에서 ERM보다 우수하며 라벨 노이즈 분류 및 선택적 분류의 성능 향상을 가능하게 합니다.

ABSTRACT

We propose self-adaptive training---a new training algorithm that dynamically corrects problematic training labels by model predictions without incurring extra computational cost---to improve generalization of deep learning for potentially corrupted training data. This problem is crucial towards robustly learning from data that are corrupted by, e.g., label noises and out-of-distribution samples. The standard empirical risk minimization (ERM) for such data, however, may easily overfit noises and thus suffers from sub-optimal performance. In this paper, we observe that model predictions can substantially benefit the training process: self-adaptive training significantly improves generalization over ERM under various levels of noises, and mitigates the overfitting issue in both natural and adversarial training. We evaluate the error-capacity curve of self-adaptive training: the test error is monotonously decreasing w.r.t. model capacity. This is in sharp contrast to the recently-discovered double-descent phenomenon in ERM which might be a result of overfitting of noises. Experiments on CIFAR and ImageNet datasets verify the effectiveness of our approach in two applications: classification with label noise and selective classification. We release our code at https://github.com/LayneH/self-adaptive-training.

연구 동기 및 목표

• 표준 ERM을 넘어선 임의의 노이즈 및 적대적 노이즈로 손상된 학습 데이터에서도 견고한 학습을 촉진한다.
• 모델 예측을 활용하여 학습 동역학을 안내하는 학습 메커니즘을 제안한다.
• CIFAR 및 ImageNet에서 라벨 노이즈와 적대적 공격 하에서 일반화 성능의 향상을 입증한다.
• 선택적 분류에의 적용 가능성을 보이고 강건성 및 효율성을 분석한다.

제안 방법

• 학습 대상(target)을 점진적으로 보정하기 위해 모델 예측의 지수이동평균(EMA)을 도입한다.
• 레이블링 신뢰도를 반영하기 위해 업데이트된 타깃의 최대 항으로 샘플 가중치를 계산한다.
• 전체 샘플 가중치의 합으로 정규화되는 재가중치 교차 엔트로피 손실로 학습한다.
• 거의 추가 비용 없이 기존 네트워크 구조와 학습 파이프라인과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 모델 예측을 동적으로 사용하여 학습 신호를 보정해 노이즈 데이터에 대한 과적합을 완화할 수 있는가?
• RQ2 Self-Adaptive Training이 무작위 노이즈 및 적대적 노이즈 하에서 ERM과 비교해 일반화 오류를 줄이는가?
• RQ3 라벨 노이즈가 있는 분류와 선택적 분류와 같은 응용에서 성능 향상을 이끌어낼 수 있는가?

주요 결과

• 자기적응 학습은 노이즈가 있는 데이터에서 과적합을 완화하고 다양한 노이즈 유형과 수준에서 ERM보다 더 낮은 일반화 오차를 보인다.
• 무작위 노이즈 하에서 이 방법은 ERM에서 보이는 이중하강(double-descent)과 달리 단일 하강의 오차-용량 곡선을 보인다.
• 화이트박스 PGD 공격에서 TRADES 대비 1~3%의 적대적 강건성을 향상시킨다.
• 라벨 노이즈가 있는 CIFAR-10/100에서 이전 방법들보다 최대 9.3퍼센트 포인트 높은 정확도를 달성하며, ImageNet에서는 40% 라벨 노이즈 하에서 ERM보다 약 2% 향상시킨다.
• 선택적 분류에서 데이터셋과 커버리지 수준에 따라 SOTA 대비 최대 50%의 상대적 향상을 달성한다.