[논문 리뷰] Toward Robustness against Label Noise in Training Deep Discriminative Neural Networks

Arash Vahdat|arXiv (Cornell University)|2017. 05. 31.

Infrastructure Maintenance and Monitoring인용 수 119

한 줄 요약

노이즈가 있는 라벨에서 깊은 판별 네트워크를 학습하기 위해 잠재 변수 및 보조 분포로 깨끗한-노이즈 라벨 관계를 모델링하는 반-자 supervision CNN-CRF 프레임워크를 제안하고 CIFAR-10 및 MS COCO를 포함한 이미지 라벨링 작업에서 강인성을 달성합니다.

ABSTRACT

Collecting large training datasets, annotated with high-quality labels, is costly and time-consuming. This paper proposes a novel framework for training deep convolutional neural networks from noisy labeled datasets that can be obtained cheaply. The problem is formulated using an undirected graphical model that represents the relationship between noisy and clean labels, trained in a semi-supervised setting. In our formulation, the inference over latent clean labels is tractable and is regularized during training using auxiliary sources of information. The proposed model is applied to the image labeling problem and is shown to be effective in labeling unseen images as well as reducing label noise in training on CIFAR-10 and MS COCO datasets.

연구 동기 및 목표

• 저렴하게 수집된 노이즈 라벨로 딥 CNN을 학습하는 과정의 도전 과제 해결.
• 잠재 변수와 함께 깨끗한 라벨과 노이즈 라벨을 결합하는 조건부 확률 모델 CRF 구조 도입.
• 학습 규제화를 위해 보조 정보를 활용하는 반감 지도 objective 제공.
• 표준 이미지 데이터셋(CIFAR-10 및 MS COCO)에서 강건성과 향상된 라벨링 성능을 시연.

제안 방법

• 모델 입력 x에 조건화된 깨끗한 라벨과 노이즈 라벨을 연결하는 CRF 내에서 깨끗한 라벨을 잠재 변수로 모델링.
• 추론의 계산 가능성을 유지하면서 라벨 간 상관관계를 포착하는 은닉 이진 변수 h를 도입.
• CNN의 바이어스와 y와 ŷ 간의 페어와이얼 상호 작용을 이용한 제2차 에너지 함수와 W 및 W'로 정규화된 CRF-CNN 정의.
• 완전 표기된 라벨 데이터와 노이즈 라벨 데이터를 결합한 반감 학습 목적 함수 제시, 지속적 대비 분산(EM유사)으로 최적화.
• 잠재 추론을 정규화하고 q(ŷ,h|y,x)를 p_aux로 유도하며 하이퍼파라미터 α로 제어합니다.
• 초기에는 p_aux에 의한 의존도를 높이고 점진적으로 p_θ에 대한 의존도를 늘리도록 α를 스케줄링하며 E-step( q 업데이트)과 M-step( θ 업데이트)를 교대로 끝까지 학습합니다.
• CNN-CRF 학습 중에 매개변수를 고정된 상태로 학습시키고 보조 모델로써의RBM을 제거하고 학습 데이터에 대해 고정된 파라메터를 갖는 보조 모델로 활용합니다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 라벨과 깨끗한 라벨 간의 관계를 CNN-CRF 프레임워크가 모델링하여 딥 네트워크의 라벨 노이즈에 대한 강인성을 향상시킬 수 있는가?
• RQ2 반감 지도 학습에서 잠재 깨끗한 라벨 추론을 정규화하기 위해 보조 정보를 어떻게 도입할 수 있는가?
• RQ3 제안한 접근법이 노이즈 라벨이 포함된 데이터셋에서 다른 baselines에 비해 이미지 라벨링 성능을 개선하는가?
• RQ4 다중 클래스와 다중 라벨 설정 및 다양한 네트워크 아키텍처(VGG-16, ResNet-50)에서 방법이 어떻게 작동하는가?

주요 결과

• CNN-CRF 모델은 잠재 변수를 이용해 깨끗한 라벨과 노이즈 라벨 간의 관계를 명시적으로 모델링함으로써 라벨 노이즈에 대한 강인성을 제공한다.
• p_aux를 통한 보조 분포 도입과 α 스케줄링이 잠재 변수 추론과 학습 안정성을 향상시킨다.
• 이 접근법은 노이즈 라벨이 포함된 Microsoft COCO 데이터셋 및 COCO Flickr-tag 설정에서 여러 baselines보다 향상된 라벨링 성능을 제공한다.
• 다중 클래스 및 다중 라벨 분류에 대해 혼합적으로 적용 가능하며 기존 네트워크의 강건한 손실 계층으로 통합될 수 있다.
• VGG-16 또는 ResNet-50 아키텍처를 사용하더라도 노이즈 라벨이 있는 설정에서 기준 학습 대비 성능 향상을 보인다.