[논문 리뷰] SIGUA: Forgetting May Make Learning with Noisy Labels More Robust

Bo Han, Gang Niu외 5명|arXiv (Cornell University)|2018. 09. 28.

Machine Learning and Data Classification인용 수 64

한 줄 요약

SIGUA는 미니 배치 내에서 가능성이 높은 깨끗한 데이터에 대한 경사하강과 노이즈가 있는 데이터에 대한 경사상향을 결합하여 원치 않는 기억의 잊힘을 가능하게 하고, 라벨 노이즈에 대한 강인성을 향상시키는 방법이다.

ABSTRACT

Given data with noisy labels, over-parameterized deep networks can gradually memorize the data, and fit everything in the end. Although equipped with corrections for noisy labels, many learning methods in this area still suffer overfitting due to undesired memorization. In this paper, to relieve this issue, we propose stochastic integrated gradient underweighted ascent (SIGUA): in a mini-batch, we adopt gradient descent on good data as usual, and learning-rate-reduced gradient ascent on bad data; the proposal is a versatile approach where data goodness or badness is w.r.t. desired or undesired memorization given a base learning method. Technically, SIGUA pulls optimization back for generalization when their goals conflict with each other; philosophically, SIGUA shows forgetting undesired memorization can reinforce desired memorization. Experiments demonstrate that SIGUA successfully robustifies two typical base learning methods, so that their performance is often significantly improved.

연구 동기 및 목표

• 과도하게 매개화된 딥 넷에서 노이즈가 있는 라벨로 학습하는 도전 과제를 제시한다.
• 훈련 중에 좋은 데이터와 나쁜 데이터를 균형 잡기 위해 스토캐스틱 통합 그래디언트 언더웨이트드 어센트로서 SIGUA를 도입한다.
• SIGUA가 기존의 기본 학습 방법과 어떻게 통합되어 라벨 노이즈 하에서 일반화를 개선하는지 보여준다.
• 잊힘이 바람직하지 않은 기억을 강화하는 이론적·경험적 통찰을 제공한다.

제안 방법

• 기본 학습 알고리즘 B를 정의하고 그 순전파 및 역전파를 명시한다.
• 각 미니 배치에서 손실을 계산하고, 기본 방법과의 관계에서 데이터를 좋은 데이터 C_good와 나쁜 데이터 C_bad로 분류한다.
• 좋은 데이터에 대한 양의 손실은 축적하고, 나쁜 데이터에 대한 음수 손실은 gamma의 계수로 가중치를 줄여 나쁜 데이터에 대한 경사 상향을 구현한다.
• 수정된 손실을 배치로 평균화하고 역전파 뒤에 옵티마이저 스텝을 수행한다.
• 마스크(C_good와 C_bad)에서 가중치를 부여한 벡터화 버전을 포함한 계산적으로 효율적인 형태를 제공한다.
• SIGUA가 StopGrad(gamma=0)와 완전 경사상향(gamma=1)이라는 특수한 경우를 포괄한다는 점을 보여준다.
• SIGUA를 자기지도(샘플 선택)와 역전파 보정(손실 보정)에 적용하여 다재다능함을 입증한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 라벨로 학습할 때 깨끗한 데이터를 기억하는 능력을 해치지 않으면서 학습을 규제할 수 있는 방법은 무엇인가?
• RQ2 특정 데이터에 대한 경사상향을 통한 선택적 잊힘이 라벨 노이즈 하에서 일반화를 개선할 수 있는가?
• RQ3 SIGUA가 자기지도 학습, 역전파 보정과 같은 기존의 노이즈 라벨 학습 전략과 어떤 상호작용을 하며 개선하는가?
• RQ4 일반적인 노이즈 라벨 시나리오에 대해 좋은/나쁜 데이터 상태의 실용적인 구현은 무엇인가?
• RQ5 혼합 하강/상향 업데이트를 수행할 때 계수 gamma의 포함이 최적화를 안정시키는가?

주요 결과

Method	MNIST/ CIFAR-10 (설명)	주요 지표 / 결과	비고
Standard	CIFAR-10 under 40% open-set noise (SVHN)	56.44% (테스트 정확도)	SIGUA 없이의 기준선.
Self	CIFAR-10 under 40% open-set noise (SVHN)	79.72%	Self-teaching 기준선.
SIGUA SL	CIFAR-10 under 40% open-set noise (SVHN)	81.31%	SIGUA 소손실 데이터 조건; Self보다 개선.
BC	CIFAR-10 under 40% open-set noise (SVHN)	52.03%	Backward correction 기준선.
nnBC	CIFAR-10 under 40% open-set noise (SVHN)	73.39%	Non-negative BC variant.
SIGUA BC	CIFAR-10 under 40% open-set noise (SVHN)	74.33%	SIGUA with BC (backward correction).

• SIGUA는 노이즈 라벨 설정에서 MNIST와 CIFAR-10 모두에서 표준 학습 및 기저의 노이즈 라벨 방법들에 비해 강인성을 크게 향상시킬 수 있다.
• 80% 대칭 라벨 노이즈의 MNIST에서 SIGUA는 뒤집힌 라벨의 거의 완전한 잊힘을 유도해 테스트 정확도를 23%에서 95%로 끌어올린다.
• CIFAR-10의 40% 오픈셋 노이즈에서 SIGUA–BC는 표준 BC 및 nnBC보다 평균 테스트 정확도가 높고, SIGUA–SL은 다양한 노이즈 조건에서 Self-Teaching보다도 우수한 성능을 보인다.
• SIGUA는 StopGrad와 전체 경사상향을 특수한 경우로 포괄하고, underweight 매개변수 gamma가 나쁜 데이터에 대한 상향 시 최적화를 안정화한다.
• 또한 이 프레임워크가 자기지도 학습(샘플 선택)과 역전 보정(손실 보정)을 모두 견고하게 만들어 노이즈 라벨 학습 전략 전반에 걸친 넓은 적용 가능성을 보여준다.