[논문 리뷰] A Semi-Supervised Two-Stage Approach to Learning from Noisy Labels

Yifan Ding, Liqiang Wang외 2명|arXiv (Cornell University)|2018. 02. 08.

Machine Learning and Data Classification참고 문헌 46인용 수 10

한 줄 요약

이 논문은 노이즈가 많은 레이블에서 깊이 신경망을 훈련하기 위한 이단계(semi-supervised) 프레임워크를 제안한다. 첫 번째 단계에서는 높은 신뢰도를 가진 레이블 하위집합만 유지하고, 두 번째 단계에서는 반응형 학습 방식으로 모델을 훈련한다. 이 방법은 오류를 일으킬 수 있는 레이블 보정을 피하고 모호한 레이블을 무시함으로써 모델의 잘못된 유도를 방지함으로써, 특히 높은 노이즈 비율에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The recent success of deep neural networks is powered in part by large-scale well-labeled training data. However, it is a daunting task to laboriously annotate an ImageNet-like dateset. On the contrary, it is fairly convenient, fast, and cheap to collect training images from the Web along with their noisy labels. This signifies the need of alternative approaches to training deep neural networks using such noisy labels. Existing methods tackling this problem either try to identify and correct the wrong labels or reweigh the data terms in the loss function according to the inferred noisy rates. Both strategies inevitably incur errors for some of the data points. In this paper, we contend that it is actually better to ignore the labels of some of the data points than to keep them if the labels are incorrect, especially when the noisy rate is high. After all, the wrong labels could mislead a neural network to a bad local optimum. We suggest a two-stage framework for the learning from noisy labels. In the first stage, we identify a small portion of images from the noisy training set of which the labels are correct with a high probability. The noisy labels of the other images are ignored. In the second stage, we train a deep neural network in a semi-supervised manner. This framework effectively takes advantage of the whole training set and yet only a portion of its labels that are most likely correct. Experiments on three datasets verify the effectiveness of our approach especially when the noisy rate is high.

연구 동기 및 목표

• 대규모 훈련 데이터에 고품질이지만 노이즈가 있는 레이블이 포함된 경우 깊이 신경망을 훈련하는 데 도전하는 것.
• 일반적으로 오류를 유발하는 레이블 보정을 피하고 잘못된 레이블로 인한 모델 오도를 줄이는 것.
• 가장 신뢰할 수 있는 레이블만 선택적으로 사용함으로써 높은 노이즈 비율 환경에서 일반화 및 정확도를 향상시키는 것.
• 노이즈 비율이나 청소된 데이터에 대한 사전 지식이 없어도 효과적으로 작동하는 프레임워크를 개발하는 것.

제안 방법

• 첫 번째 단계에서, 자기 향상(self-refining) 방법을 사용해 각 클래스 내 데이터 포인트를 신뢰도 순으로 정렬하고, 상위 순위에 속한 예시들만 레이블과 함께 유지한다.
• 청소된 데이터가 이용 가능한 경우, 각 클래스별로 청소된 레이블과 노이즈가 있는 레이블을 구분하는 이진 분류기를 훈련하여 레이블 선택을 수행한다.
• 청소된 데이터가 없는 경우, 전체 노이즈가 있는 데이터셋에 대해 다중 클래스 신경망을 훈련하여 레이블 선택을 위한 신뢰도 점수를 생성한다.
• 두 번째 단계에서, 전체 데이터셋에 대해 시간에 따라 변화하는 앙상블(temportal ensembling)을 사용한 반응형 학습 방식으로 깊이 신경망을 훈련하고, 높은 신뢰도를 가진 레이블들만 사용한다.
• 훈련 과정에서 균형 잡힌 샘플링 전략을 사용하여, 각 미니배치에 동일한 수의 레이블이 있는 샘플과 없는 샘플이 포함되도록 한다.
• 이 방법은 노이즈에 대해 강건하며, 레이블 전이 행렬이나 노이즈 비율 추정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 데이터셋에서 모호한 레이블을 보완하는 대신 무시함으로써, 보정을 尝시는 것보다 더 나은 모델 성능을 달성할 수 있는가?
• RQ2 신뢰도가 높은 레이블만 선택적으로 사용하는 이단계 접근 방식이, 종단 간 레이블 보정 방법과 비교해 어떻게 성능을 냈는가?
• RQ3 신뢰할 수 있는 레이블 비율이 낮은 경우에도 반응형 학습이 큰 노이즈가 있는 데이터셋을 효과적으로 활용할 수 있는가?
• RQ4 제안된 방법이 기존 최신 기술 수준의 방법들을 능가하는가, 특히 높은 노이즈 비율에서 성능이 뛰어나게 되는가?

주요 결과

• 100만 개의 노이즈가 있는 데이터셋과 5만 개의 청소된 이미지를 포함한 Clothing1M 데이터셋에서, 청소된 데이터셋에 대해 미세조정(fine-tuned)한 결과, 이 방법은 79.38%의 정확도를 기록했으며, 포워드 레이블 전이 방법(69.84%)을 능가했다.
• 사전 훈련된 ImageNet 모델에서 초기화한 결과, 80.53%의 정확도를 달성했으며, 기록된 최고의 베이스라인(80.38%)을 초월했다.
• Clothing1M에서 이 방법은 의사 레이블링(73.04%), 바텀업 훈련(76.22%), 레이블 노이즈 모델링(78.24%)을 크게 능가했다.
• 높은 노이즈 비율에서 뛰어난 성능을 보이며, 레이블 보정을 피하는 것이 오류 누적을 줄이는 데 기여한다는 점을 확인했다.
• 청소된 데이터셋에 대한 미세조정이 성능 향상에 기여함으로써, 인간의 레이블링이 여전히 필요하고, 효과적인 노이즈 레이블 학습 방법의 가치가 있음을 입증했다.