[論文レビュー] Beyond Images: Label Noise Transition Matrix Estimation for Tasks with Lower-Quality Features

Zhaowei Zhu, Jialu Wang+1 more|arXiv (Cornell University)|Feb 2, 2022

Machine Learning and Data Classification被引用数 11

ひとこと要約

本論文は、表形式データやテキストなどの低品質な特徴量を有するタスクにおいて、ノイズのあるラベルからのみ計算された f-相互情報量を用いて、情報理論的アプローチでラベルノイズ遷移行列を推定する手法を提案する。無情報な特徴成分を低減することでクラスタビリティを向上させ、従来手法と比較して顕著に低い推定誤差を達成する。特にリソースが限られた状況やノイズの多い自然言語処理・表形式データの設定で優れた性能を示す。

ABSTRACT

The label noise transition matrix, denoting the transition probabilities from clean labels to noisy labels, is crucial for designing statistically robust solutions. Existing estimators for noise transition matrices, e.g., using either anchor points or clusterability, focus on computer vision tasks that are relatively easier to obtain high-quality representations. We observe that tasks with lower-quality features fail to meet the anchor-point or clusterability condition, due to the coexistence of both uninformative and informative representations. To handle this issue, we propose a generic and practical information-theoretic approach to down-weight the less informative parts of the lower-quality features. This improvement is crucial to identifying and estimating the label noise transition matrix. The salient technical challenge is to compute the relevant information-theoretical metrics using only noisy labels instead of clean ones. We prove that the celebrated $f$-mutual information measure can often preserve the order when calculated using noisy labels. We then build our transition matrix estimator using this distilled version of features. The necessity and effectiveness of the proposed method are also demonstrated by evaluating the estimation error on a varied set of tabular data and text classification tasks with lower-quality features. Code is available at github.com/UCSC-REAL/BeyondImages.

研究の動機と目的

• 表形式データやテキストなど、高品質な表現が得られない低品質な特徴量を有するタスクにおいて、既存のラベルノイズ遷移行列推定器が失敗する問題に対処すること。
• 清浄ラベルを必要とせず、アンカーポイントやクラスタビリティの仮定に依存しない、トレーニング不要で汎用的な手法を開発すること。
• 情報理論的再重み付けを用いて、f-相互情報量に基づき無情報な特徴成分を低減することで、ノイズ遷移行列の推定を改善すること。
• 自然言語処理や表形式データのベンチマークを含む、多様な低品質特徴量ドメインにおいて、本手法の有効性を示すこと。

提案手法

• 特徴量を固有値分解により相関のない成分に分解し、情報量の多い部分と少ない部分を分離する。
• 各特徴成分とノイズのあるラベルとの間の f-相互情報量を計算し、情報の関連性を定量化する。
• f-相互情報量スコアに基づき、情報量が少ない成分を低減することで、特徴量のクラスタビリティを向上させる。
• すべての計算に清浄ラベルやモデルの学習を一切用いずに、ノイズのあるラベルのみを用いる。
• f-相互情報量がラベルノイズ下でも順序を保つという性質を活用し、信頼性の高い推定を可能にする。
• 再重み付けされた特徴量を用いて最終的な遷移行列を推定し、下流の学習におけるロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 アンカーポイントやクラスタビリティの仮定が成立しない低品質な特徴量設定において、ラベルノイズ遷移行列の推定を改善できるか？
• RQ2 ノイズのあるラベルしか入手できない状況で、f-相互情報量のような情報理論的指標を効果的に活用できるか？
• RQ3 f-相互情報量を用いて無情報な特徴成分を低減することで、遷移行列推定の精度が向上するか？
• RQ4 本手法は、表形式データおよびテキスト分類タスクにおける推定誤差の観点から、既存の推定器と比較してどのように差をつけるか？

主な発見

• 提案手法 Ours-A は、20個の表形式ベンチマークのうち16個ですべてのベースラインを上回る低い推定誤差を達成し、テキスト分類でも一貫した性能向上を示した。
• テキストベンチマークでは、HOC や他のベースラインと比較して推定誤差を最大30％まで低減した。特に高ノイズ設定で顕著な改善が見られた。
• 10クラスのテキストタスクでは推定誤差が0.05未満、2クラスタスクでは0.1未満を達成した。これに対して、類似タスクで0.1を超える誤差を報告するベースラインと比べて顕著に優れた性能を示した。
• 損失補正を用いた推定された遷移行列を下流学習に適用することで、ベンチマーク全体で平均してテスト精度が最大5％向上した。
• Yelp データセットのように元のデータ自体に内在的なノイズを含む状況でも、本手法はロバストであることが示された。特に高ノイズ設定では真のノイズ率とより整合性が高くなるため、相対誤差が低くなった。