[논문 리뷰] Masking: A New Perspective of Noisy Supervision

Bo Han, Jiangchao Yao외 5명|arXiv (Cornell University)|2018. 05. 21.

Machine Learning and Data Classification참고 문헌 43인용 수 102

한 줄 요약

구조 인지형 확률 모델인 Masking은 노이즈 전이 행렬을 제약하기 위해 인간이 제공한 구조 사전지를 사용하여 엔드-투-엔드 학습에서 노이즈 라벨에 대한 강건성을 개선한다.

ABSTRACT

It is important to learn various types of classifiers given training data with noisy labels. Noisy labels, in the most popular noise model hitherto, are corrupted from ground-truth labels by an unknown noise transition matrix. Thus, by estimating this matrix, classifiers can escape from overfitting those noisy labels. However, such estimation is practically difficult, due to either the indirect nature of two-step approaches, or not big enough data to afford end-to-end approaches. In this paper, we propose a human-assisted approach called Masking that conveys human cognition of invalid class transitions and naturally speculates the structure of the noise transition matrix. To this end, we derive a structure-aware probabilistic model incorporating a structure prior, and solve the challenges from structure extraction and structure alignment. Thanks to Masking, we only estimate unmasked noise transition probabilities and the burden of estimation is tremendously reduced. We conduct extensive experiments on CIFAR-10 and CIFAR-100 with three noise structures as well as the industrial-level Clothing1M with agnostic noise structure, and the results show that Masking can improve the robustness of classifiers significantly.

연구 동기 및 목표

• 노이즈가 있는 라벨에서의 학습을 노이즈 전이 행렬의 구조를 이용해 촉진한다.
• 구조 인지를 반영한 확률 모델(MASKING)을 제시하여 엔드-투-엔드 학습에 사전 구조를 도입한다.
• 제거되지 않은(unmasked) 타당한 전이로 estimation 부담을 줄인다.
• 구조화된 노이즈를 가진 CIFAR-10/100 및 애매한 노이즈를 가진 Clothing1M에서의 강건성 향상을 입증한다.

제안 방법

• 노이즈 전이 행렬을 잠재 변수 s와 구조 변수 s_o = f(s)로 모델링한다.
• 구조 사전 P(s_o)를 구체화하고 변분 분포 Q(s)로 후방을 근사한다.
• 사람의 인지 구조를 모사하기 위해 온도 조절 시그모이드 f(s)를 사용하여 구조(diagonal, tri-diagonal, block-diagonal)를 추출한다.
• GAN 유사한 체계로 생성기(Q(s))와 판별기(P(s_o)와의 구조 정합성 강제) 및 재구성기(y, x, 노이즈 라벨 ˜y를 연결)로 구성한다.
• 데이터 가능도와 구조 정합 항을 결합한 ELBO 기반 Objective를 도출한다(Eq. 1).
• 정규화 매개변수의 수동 조정 없이 엔드-투-엔드 학습 레시피를 제공한다.

실험 결과

연구 질문

• RQ1 사람의 인지에서 영감을 받은 구조 사전은 노이즈 라벨 학습에 어떻게 통합될 수 있는가?
• RQ2 노이즈 전이 행렬에 타당한 구조를 부여하면 유한 데이터 하에서 추정 및 최종 분류기 정확도가 향상되는가?
• RQ3 전통적인 두 단계 또는 엔드-투-엔드 노이즈 라벨 방법과 비교하여 MASKING의 베이지안/암묵적 모델링 접근이 구조화된 노이즈에서 더 우수한가?
• RQ4 다양한 노이즈 구조(열-대각, tri-diagonal, block-diagonal) 및 실제 노이즈(Clothing1M)에서 MASKING의 성능은 어떠한가?

주요 결과

Model	Clothing1M Accuracy (%)
NOISY	68.9
F-correction	69.8
S-adaptation	70.3
MASKING	71.1
CLEAN	75.2

• MASKING은 구조화된 노이즈를 가진 벤치마크 데이터셋에서 순방향 보정 및 S-적응보다 일관되게 우수하다.
• CIFAR-10/100에서 MASKING은 여러 노이즈 구조에서 맑은 데이터 오레오와 가까운 성능을 달성한다.
• Clothing1M의 애고닉(n agnostic) 노이즈에서 MASKING(71.1%)은 NOISY(68.9%), F-correction(69.8%), S-adaptation(70.3%)을 상회하며 CLEAN(75.2%)에 근접하다.
• MASKING에 의해 노이즈 전이 행렬의 추정이 실제/원하는 구조와 베이스라인보다 더 가깝게 정렬된다.
• 대각, tri-diagonal, block-diagonal 등 여러 노이즈 패턴과 실제 노이즈에서도 강건한 개선이 확인된다.
• 이 프레임워크는 구조 사전을 GAN 유사 구조를 통해 도입하는 원칙적이고 하이퍼파라미터가 적은 방법을 제공한다.