[논문 리뷰] From Noisy Prediction to True Label: Noisy Prediction Calibration via Generative Model

HeeSun Bae, Seungjae Shin외 4명|arXiv (Cornell University)|2022. 05. 02.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 사전 훈련된 분류기에서 발생하는 노이즈 있는 예측을 보정하기 위한 후처리 방법인 노이즈 예측 캘리브레이션(NPC)을 제안한다. NPC는 깊이 있는 생성 모델을 사용하여 노이즈 있는 예측에서 진짜 레이블로의 전이 행렬을 추정함으로써, 재훈련 없이도 다양한 데이터셋에서 분류 정확도를 향상시킨다. 기존 방법에 비해 예측 오류를 크게 줄여주며, 특히 MNIST 및 Fashion-MNIST와 같은 벤치마크 데이터셋에서 이전에 간과되었던 노이즈 있는 예측을 탐지하는 데 뛰어난 성능을 보인다.

ABSTRACT

Noisy labels are inevitable yet problematic in machine learning society. It ruins the generalization of a classifier by making the classifier over-fitted to noisy labels. Existing methods on noisy label have focused on modifying the classifier during the training procedure. It has two potential problems. First, these methods are not applicable to a pre-trained classifier without further access to training. Second, it is not easy to train a classifier and regularize all negative effects from noisy labels, simultaneously. We suggest a new branch of method, Noisy Prediction Calibration (NPC) in learning with noisy labels. Through the introduction and estimation of a new type of transition matrix via generative model, NPC corrects the noisy prediction from the pre-trained classifier to the true label as a post-processing scheme. We prove that NPC theoretically aligns with the transition matrix based methods. Yet, NPC empirically provides more accurate pathway to estimate true label, even without involvement in classifier learning. Also, NPC is applicable to any classifier trained with noisy label methods, if training instances and its predictions are available. Our method, NPC, boosts the classification performances of all baseline models on both synthetic and real-world datasets. The implemented code is available at https://github.com/BaeHeeSun/NPC.

연구 동기 및 목표

• 기계 학습에서 지속적인 문제로 남아 있는 노이즈 있는 레이블이 분류기의 일반화 성능을 떨어뜨리며, 훈련 후에 이를 수정하기 어려운 문제를 해결하기 위해.
• 훈련 데이터나 아키텍처에 접근할 수 없는 어떤 사전 훈련된 분류기에도 적용 가능한 후처리 솔루션을 개발하기 위해.
• 깊이 있는 생성 모델을 사용하여 노이즈 있는 예측에서 진짜 레이블로의 전이 과정을 모델링하여, 노이즈 있는 예측의 정확도를 향상시키기 위해.
• NPC가 기존 방법보다 더 나은 성능을 보이며, 특히 미세하거나 이전에 간과되었던 레이블 노이즈를 탐지하는 데서의 정확도를 실증적으로 검증하기 위해.
• 다양한 노이즈 유형과 실제 세계 데이터셋, 특히 이전에 깨끗하다고 여겨졌던 벤치마크 데이터셋에서도 강건성을 입증하기 위해.

제안 방법

• NPC는 진짜 레이블의 지도 없이도 노이즈 있는 예측에서 진짜 레이블로의 전이 행렬을 추정하는 새로운 방법을 도입하며, 이는 진짜 레이블에 대한 지도 없이도 효과적인 캘리브레이션을 가능하게 한다.
• 조건부 생성 모델을 사용하여 노이즈 있는 예측이 주어졌을 때 입력의 분포를 학습함으로써, 역방향 추론을 통해 진짜 레이블을 추정한다.
• NPC는 캘리브레이션을 후행 확률 추정 문제로 공식화하며, 노이즈 있는 예측이 주어졌을 때 입력의 가능도를 활용하여 가장 가능성 높은 진짜 레이블을 추론한다.
• 이 방법은 기존의 전이 행렬 기반 방법과 이론적으로 동치이며, 기존의 노이즈 모델링 프레임워크와 일관성을 확보한다.
• NPC는 플러그인 방식의 후처리기로 작동하며, 모델의 예측과 입력 특징만 필요로 하여 어떤 블랙박스 분류기에도 보편적으로 적용 가능하다.
• GradCAM을 활용해 주의를 시각화한 결과, NPC는 임의의 이미지 수준의 패턴이 아닌 클래스 관련 특징에 집중하는 것으로 확인되었다.

실험 결과

연구 질문

• RQ1 훈련 데이터나 아키텍처에 접근할 수 없는 상황에서 후처리 방법이 사전 훈련된 분류기의 노이즈 있는 예측을 효과적으로 캘리브레이션할 수 있는가?
• RQ2 NPC의 생성 모델 기반 접근 방식은 기존의 전이 행렬 기반 방법에 비해 노이즈 있는 예측에서 진짜 레이블을 추정하는 데서 어떤 차이를 보이는가?
• RQ3 NPC는 MNIST 및 Fashion-MNIST와 같은 널리 사용되는 벤치마크 데이터셋에서 이전에 간과되었던 노이즈 있는 예측을 어느 정도 탐지하고 수정할 수 있는가?
• RQ4 NPC는 대칭적이고 비대칭적인 레이블 노이즈를 포함한 다양한 노이즈 설정에서 일반화 성능을 향상시키는가?
• RQ5 NPC의 주의 메커니즘은 입력을 생성하는 생성 모델과 어떻게 다를 수 있으며, 이러한 차이는 캘리브레이션 정확도에 어떤 영향을 미치는가?

주요 결과

• NPC는 노이즈 비율을 알지 못하더라도, 합성 및 실제 세계 데이터셋에서 모든 베이스라인 모델의 정확도를 통계적으로 유의미하게 향상시켰다.
• 20% 대칭 노이즈가 있는 CIFAR-10에서 NPC는 CausalNL의 후처리기 버전보다 (b)+(f)−((d)+(h))로 측정한 보정 효과가 5.59배 더 뛰어나게 향상시켰다.
• NPC는 MNIST와 Fashion-MNIST에서 고신뢰도로 잘못 레이블링된 것으로 보이는 50개의 예측을 성공적으로 식별했으며, Sneaker와 Ankle Boot의 혼동과 같이 시각적 콘텐츠와 레이블이 충돌하는 사례도 포함되었다.
• GradCAM 분석 결과, CausalNL는 생성 목표로 인해 관련 없는 이미지 영역에 주의를 기울이는 반면, NPC는 클래스 관련 특징에 집중하는 것으로 나타났다.
• NPC는 평가된 모든 벤치마크에서 최고 성능을 기록했으며, 이는 이전에 깨끗하다고 여겨졌던 데이터셋에서도 효과적이라는 것을 입증했다.
• 벤 다이어그램 분석을 통해 NPC는 유해한 보정(사례 4)을 줄이고 유익한 보정(사례 2)을 늘림을 확인했으며, 신중하고 신뢰할 수 있는 캘리브레이션 전략임을 시사했다.