[논문 리뷰] Learning to Reweight Examples for Robust Deep Learning

Mengye Ren, Wenyuan Zeng외 2명|arXiv (Cornell University)|2018. 03. 24.

Machine Learning and Data Classification참고 문헌 40인용 수 579

한 줄 요약

이 논문은 소규모의 깨끗한 검증 세트를 사용하여 학습 예시의 가중치를 재조정하는 온라인 메타-러닝 방법을 제시하며, 추가 하이퍼파라미터 조정 없이도 클래스 불균형과 노이즈 라벨에 대한 강인성을 향상시킨다.

ABSTRACT

Deep neural networks have been shown to be very powerful modeling tools for many supervised learning tasks involving complex input patterns. However, they can also easily overfit to training set biases and label noises. In addition to various regularizers, example reweighting algorithms are popular solutions to these problems, but they require careful tuning of additional hyperparameters, such as example mining schedules and regularization hyperparameters. In contrast to past reweighting methods, which typically consist of functions of the cost value of each example, in this work we propose a novel meta-learning algorithm that learns to assign weights to training examples based on their gradient directions. To determine the example weights, our method performs a meta gradient descent step on the current mini-batch example weights (which are initialized from zero) to minimize the loss on a clean unbiased validation set. Our proposed method can be easily implemented on any type of deep network, does not require any additional hyperparameter tuning, and achieves impressive performance on class imbalance and corrupted label problems where only a small amount of clean validation data is available.

연구 동기 및 목표

• 딥 네트워크에서 학습 데이터 세트 편향을 문제로 제시하고 견고한 해를 모색한다.
• 검증 손실을 최소화하도록 예시 가중치를 학습하는 메타러닝 프레임워크를 제안한다.
• 어떤 딥 네트워크와도 호환되는 추가 하이퍼파라미터 없이 동작하는 온라인 재가중 알고리즘을 개발한다.
• 한정된 깨끗한 검증 데이터로 클래스 불균형 및 노이즈 라벨 벤치마크에서의 강인성 향상을 보여준다.

제안 방법

• 학습이 손실 f_i에 대한 가중치 w를 사용하고, 소규모 깨끗한 세트의 검증 손실에 의해 안내되는 이중 수준 목표를 형식화한다.
• 검증 손실에 대한 한 단계 메타 그래디언트를 통해 가중치를 계산하고, 음수되지 않는 정규화된 가중치를 얻는다.
• 각 예시 가중치에 대한 기울기를 얻기 위해 역전파-역전파(backward-on-backward) 패스로 자동 미분으로 이 방법을 구현한다.
• 배치당 가중치를 합이 1이 되도록 정규화하여 안정적인 유효 학습 속도를 보장한다.
• 완만한 가정하에 방법이 검증 손실의 임계점으로 수렴함을 보장하는 수렴 보장을 제공한다.
• 어떤 딥 아키텍처(MLP/CNN)에도 적용 가능함을 보여주고, 추가적인 순전파/역전파 패스로 인한 계산 오버헤드(~3배)에 대해 논의한다.

실험 결과

연구 질문

• RQ1 소규모 깨끗한 검증 세트의 안내를 받는 온라인 그래디언트 기반 재가중이 학습 예시가 라벨 노이즈와 클래스 불균형에 대한 강인성을 향상시킬 수 있는가?
• RQ2 제안된 메타러닝 재가중 알고리즘이 검증 목표에 수렴하는가, 그리고 그의 수렴 동작은 어떤가?
• RQ3 불균형 데이터와 노이즈 라벨이 있는 표준 벤치마크에서 기존의 재가중 및 정규화 기법과 비교하여 방법의 성능은 어떠한가?
• RQ4 추가 하이퍼파라미터 조정 없이 일반적인 아키텍처(MLP/CNN)에 대해 이 접근법이 실용적인가?
• RQ5 깨끗한 검증 세트의 크기가 성능과 규제에 미치는 영향은 무엇인가?

주요 결과

모델	CIFAR-10	CIFAR-100
Baseline	67.97 ± 0.62	50.66 ± 0.24
Reed-Hard	69.66 ± 1.21	51.34 ± 0.17
S-Model	70.64 ± 3.09	49.10 ± 0.58
MentorNet	76.6	56.9
Random	86.06 ± 0.32	58.01 ± 0.37
Using 1,000 clean images - Clean Only	46.64 ± 3.90	9.94 ± 0.82
Baseline +FT	78.66 ± 0.44	54.52 ± 0.40
MentorNet +FT	78	59
Random +FT	86.55 ± 0.24	58.54 ± 0.52
Ours	86.92 ± 0.19	61.34 ± 2.06

• 제한된 깨끗한 검증 데이터로 클래스 불균형과 노이즈 라벨 문제 모두에서 강인성 이점을 제공합니다.
• MNIST 4-9 불균형 실험에서 방법은 불균형 비율 전반에 걸쳐 기초 모델보다 현저히 우수하게 성능을 보이며, 심지어 200:1의 극단적 비율도 포함합니다.
• UniformFlip 및 BackgroundFlip 노이즈가 있는 CIFAR에서 방법은 기초 및 최첨단 경쟁자들에 비해 최상위 성능을 달성하며, 특히 가용한 어떤 깨끗한 검증 데이터가 있을 때 더 두드러집니다.
• 알고리즘은 예시 가중치 분포에서 보듯이 노이즈가 있거나 상충하는 예시의 가중치를 줄이고, 유용한 예시의 가중치를 올리는 경향이 있습니다.
• 수렴 분석에 따르면 방법은 검증 손실을 감소시키고 합리적인 조건에서 O(1/ε^2) 속도에 도달합니다.