[논문 리뷰] Deep Learning from Noisy Image Labels with Quality Embedding

Jiangchao Yao, Jiajie Wang외 5명|arXiv (Cornell University)|2017. 11. 02.

Machine Learning and Data Classification참고 문헌 34인용 수 4

한 줄 요약

이 논문은 이미지 분류에서 노이즈를 완화하기 위해 레이블 신뢰도를 명시적으로 모델링하는 품질 임베딩 모델을 제안한다. 잠재 레이블에서 예측 레이블로의 전이를 제어하기 위해 품질 변수를 도입함으로써, 대trastive-Additive Noise (CAN) 네트워크는 노이즈 있는 레이블로부터 오차 역전파를 줄이며, WebImage 및 AMT와 같은 노이즈가 있는 이미지 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

There is an emerging trend to leverage noisy image datasets in many visual recognition tasks. However, the label noise among the datasets severely degenerates the \mbox{performance of deep} learning approaches. Recently, one mainstream is to introduce the latent label to handle label noise, which has shown promising improvement in the network designs. Nevertheless, the mismatch between latent labels and noisy labels still affects the predictions in such methods. To address this issue, we propose a quality embedding model, which explicitly introduces a quality variable to represent the trustworthiness of noisy labels. Our key idea is to identify the mismatch between the latent and noisy labels by embedding the quality variables into different subspaces, which effectively minimizes the noise effect. At the same time, the high-quality labels is still able to be applied for training. To instantiate the model, we further propose a Contrastive-Additive Noise network (CAN), which consists of two important layers: (1) the contrastive layer estimates the quality variable in the embedding space to reduce noise effect; and (2) the additive layer aggregates the prior predictions and noisy labels as the posterior to train the classifier. Moreover, to tackle the optimization difficulty, we deduce an SGD algorithm with the reparameterization tricks, which makes our method scalable to big data. We conduct the experimental evaluation of the proposed method over a range of noisy image datasets. Comprehensive results have demonstrated CAN outperforms the state-of-the-art deep learning approaches.

연구 동기 및 목표

• 대규모 데이터셋에서 노이즈 있는 이미지 레이블로 인한 딥러닝 성능 저하 문제를 해결하기 위해.
• 기존 방법들이 노이즈를 암묵적으로 모델링하거나 잠재 레이블과 노이즈 레이블 간 선형 전이에 의존하는 한계를 극복하기 위해.
• 품질 임베딩 변수를 사용해 노이즈 있는 레이블의 신뢰도를 명시적으로 모델링하기 위해.
• 노이즈 있는 레이블과 함께 엔드 투 엔드 훈련을 위한 확장 가능한 최적화 방법을 설계하기 위해.
• 실제 노이즈 있는 이미지 벤치마크에서 개선된 일반화 및 강건성 확보하기 위해.

제안 방법

• 노이즈 있는 레이블의 신뢰도를 나타내는 품질 변수를 도입하고, 별도의 부분공간에 임베딩하여 레이블 전이를 제어한다.
• 대비-덧셈 노이즈(CAN) 네트워크를 설계하며, 두 핵심 레이어를 포함한다: 품질 임베딩을 추정하는 대비 레이어와 사전 예측과 노이즈 레이블을 통합하여 사후 훈련을 위한 덧셈 레이어.
• 재구성 기법을 사용해 효율적인 SGD 최적화 알고리즘을 유도함으로써 대규모 데이터셋에 대한 확장성을 확보한다.
• 잠재 레이블과 품질 변수를 변동성 추론과 KL 발산 정규화를 사용해 모델링하여 안정적인 훈련을 보장한다.
• 품질 임베딩의 K-평균 이진화를 통해 샘플을 신뢰할 수 있는지 여부로 분류하여 분석에 활용한다.
• 노이즈 레이블이 잠재 레이블과 품질 변수에 조건부로 의존하는 그래픽 모델 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 품질 임베딩 변수를 통해 레이블 신뢰도를 명시적으로 모델링하면 딥러닝에서 레이블 노이즈의 영향을 줄일 수 있는가?
• RQ2 품질 임베딩 메커니즘은 잠재 레이블과 노이즈 레이블 간의 일치도를 어떻게 향상시키는가?
• RQ3 CAN 네트워크는 실세계 노이즈 있는 이미지 데이터셋에서 기존 최신 기술 수준의 방법들을 얼마나 뛰어넘는가?
• RQ4 신뢰할 수 있는 vs. 비신뢰할 수 있는 품질 임베딩에 조건부로 설정된 전이 분석에서 어떤 레이블 손상 패턴이 드러나는가?
• RQ5 제안된 방법은 표기 오류나 도메인 특화 오분류와 같은 다양한 노이즈 패턴에 일반화 가능한가?

주요 결과

• CAN 모델은 WebImage 및 AMT 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존의 노이즈에 강건한 딥러닝 방법들을 능가한다.
• 품질 임베딩 메커니즘은 비신뢰할 수 있는 레이블을 성공적으로 식별하고 고립하여 역전파 과정에서의 영향을 줄인다.
• 히트맵 분석 결과, 신뢰할 수 있는 임베딩에서는 잠재 레이블에서 노이즈 레이블로의 전이가 대각선에 집중되어 신뢰할 수 있는 레이블링을 반영하는 반면, 비신뢰할 수 있는 임베딩은 산산이 흩어진 전이 패턴을 보이며 실제 노이즈 패턴을 반영한다.
• 모델은 잘못된 레이블을 효과적으로 수정하며, 예를 들어 '노퍽 테리어'와 '노리치 테리어'처럼 외관이 유사한 강아지 품종을 구분하는 데 성공한다.
• 전이 패턴 분석 결과, '화분' 같은 일부 클래스는 잘못 레이블링되기 쉬운 반면, '티비' 같은 다른 클래스는 애매한 표기 초점으로 인해 더 높은 오분류 위험을 보인다.
• 재구성된 SGD 최적화는 대규모 노이즈 있는 데이터셋에서 효율적인 훈련을 가능하게 하여, 이 방법의 확장성과 타당성을 확인한다.