[논문 리뷰] Beyond Images: Label Noise Transition Matrix Estimation for Tasks with Lower-Quality Features

Zhaowei Zhu, Jialu Wang외 1명|arXiv (Cornell University)|2022. 02. 02.

Machine Learning and Data Classification인용 수 11

한 줄 요약

이 논문은 표본 데이터와 텍스트와 같은 낮은 품질의 특징을 가진 작업에서 레이블 노이즈 전이 행렬을 추정하기 위해 정보이론적 방법을 제안한다. 이는 오직 노이즈가 섞인 레이블로부터만 계산된 f-상호정보량을 사용해 정보가 없는 특징 성분을 가중치를 낮추는 방식이다. 이 방법은 클러스터러빌리티를 향상시키고, 이전 방법들보다 유의하게 낮은 추정 오차를 달성하며, 특히 자원이 제한된 환경과 노이즈가 많은 NLP 및 표본 데이터 설정에서 뛰어난 성능을 보인다.

ABSTRACT

The label noise transition matrix, denoting the transition probabilities from clean labels to noisy labels, is crucial for designing statistically robust solutions. Existing estimators for noise transition matrices, e.g., using either anchor points or clusterability, focus on computer vision tasks that are relatively easier to obtain high-quality representations. We observe that tasks with lower-quality features fail to meet the anchor-point or clusterability condition, due to the coexistence of both uninformative and informative representations. To handle this issue, we propose a generic and practical information-theoretic approach to down-weight the less informative parts of the lower-quality features. This improvement is crucial to identifying and estimating the label noise transition matrix. The salient technical challenge is to compute the relevant information-theoretical metrics using only noisy labels instead of clean ones. We prove that the celebrated $f$-mutual information measure can often preserve the order when calculated using noisy labels. We then build our transition matrix estimator using this distilled version of features. The necessity and effectiveness of the proposed method are also demonstrated by evaluating the estimation error on a varied set of tabular data and text classification tasks with lower-quality features. Code is available at github.com/UCSC-REAL/BeyondImages.

연구 동기 및 목표

• 표본 데이터나 텍스트와 같이 고품질의 표현이 확보되지 않은 낮은 품질의 특징을 가진 작업에서 기존의 레이블 노이즈 전이 행렬 추정기의 실패 문제를 해결하기 위해.
• 정제된 레이블이 없고 앵커 포인트나 클러스터러빌리티 가정에 의존하지 않는, 훈련이 필요 없는 일반적인 방법을 개발하기 위해.
• 정보이론적 재가중 기법을 통해 정보가 없는 특징 성분을 가중치를 낮춤으로써 전이 행렬의 추정을 향상시키기 위해.
• 다양한 낮은 품질의 특징 영역, 특히 NLP와 표본 데이터 벤치마크에서의 효과를 입증하기 위해.

제안 방법

• 특징을 고유값 분해를 통해 상관이 없는 성분들로 분해하여 정보가 있는 부분과 없는 부분을 분리한다.
• 각 특징 성분과 노이즈가 섞인 레이블 간의 f-상호정보량을 계산하여 정보 관련성을 정량화한다.
• 정보가 적은 성분들은 f-상호정보량 점수에 기반해 가중치를 낮추어 특징의 클러스터러빌리티를 향상시킨다.
• 모든 계산에 오직 노이즈가 섞인 레이블만을 사용하여 정제된 레이블이나 모델 훈련이 필요 없도록 한다.
• f-상호정보량이 레이블 노이즈 하에서 순서를 유지한다는 성질을 활용하여 신뢰할 수 있는 추정이 가능하다.
• 최종적으로 재가중된 특징을 사용하여 전이 행렬을 추정함으로써, 후속 학습에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 앵커 포인트나 클러스터러빌리티 가정이 실패하는 낮은 품질의 특징 환경에서 레이블 노이즈 전이 행렬 추정을 어떻게 향상시킬 수 있는가?
• RQ2 오직 노이즈가 섞인 레이블만을 가질 때 f-상호정보량과 같은 정보이론적 측정치를 어떻게 효과적으로 활용할 수 있는가?
• RQ3 f-상호정보량을 통해 정보가 없는 특징 성분을 가중치를 낮추는 것이 전이 행렬 추정 정확도를 향상시키는가?
• RQ4 표본 데이터와 텍스트 분류 작업 전반에서 제안된 방법이 기존 추정기와 비교해 추정 오차 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법 Ours-A는 20개의 표본 벤치마크 중 16개에서 모든 베이스라인보다 낮은 추정 오차를 기록했으며, 텍스트 분류에서는 일관된 성능 향상을 보였다.
• 텍스트 벤치마크에서는 HOC 및 기타 베이스라인 대비 최대 30%까지 추정 오차를 감소시켰으며, 특히 고노이즈 설정에서 두드러진 성능 향상을 보였다.
• 10개 클래스 텍스트 작업에서는 추정 오차가 0.05 이하로 유지되었고, 이진 작업에서는 0.1 이하로 낮아, 유사 작업에서 0.1 이상의 오차를 기록한 베이스라인들보다 뚜렷이 뛰어난 성능을 보였다.
• 손실 보정을 통해 추정된 전이 행렬을 사용한 후속 학습에서, 벤치마크 전반에서 평균적으로 최대 5%까지 테스트 정확도가 향상되었다.
• 실제로 원본 데이터에 내재된 노이즈가 존재하는 경우에도 강건성을 입증하였으며, Yelp 데이터셋에서 고노이즈 설정에서 진짜 노이즈 비율과의 일치도가 더 높아 상대적 오차가 낮아진 것으로 나타났다.