[論文レビュー] Adaptive Label Error Detection: A Bayesian Approach to Mislabeled Data Detection

Zan Chaudhry, Noam H. Rotenberg+3 more|arXiv (Cornell University)|Jan 15, 2026

Machine Learning and Data Classification被引用数 0

ひとこと要約

Adaptive Label Error Detection (ALED) は中間深層特徴空間、Gaussianモデリング、および尤度比検定を用いて誤ってラベル付けされたサンプルを検出し、再現性を維持しつつリコールを向上させ、データをクリーンにした場合の下流モデルの性能を改善します。

ABSTRACT

Machine learning classification systems are susceptible to poor performance when trained with incorrect ground truth labels, even when data is well-curated by expert annotators. As machine learning becomes more widespread, it is increasingly imperative to identify and correct mislabeling to develop more powerful models. In this work, we motivate and describe Adaptive Label Error Detection (ALED), a novel method of detecting mislabeling. ALED extracts an intermediate feature space from a deep convolutional neural network, denoises the features, models the reduced manifold of each class with a multidimensional Gaussian distribution, and performs a simple likelihood ratio test to identify mislabeled samples. We show that ALED has markedly increased sensitivity, without compromising precision, compared to established label error detection methods, on multiple medical imaging datasets. We demonstrate an example where fine-tuning a neural network on corrected data results in a 33.8% decrease in test set errors, providing strong benefits to end users. The ALED detector is deployed in the Python package statlab.

研究の動機と目的

• 誤ラベルデータが医用画像モデルとデータ中心学習に与える影響を動機づける。
• モデルの中間特徴空間で動作し、誤ラベルサンプルを検出するデータ中心手法（ALED）を提案する。
• 複数のデータセットとアーキテクチャにおいて、ALED が再現性を損なうことなく誤ラベルデータ検出感度を改善することを示す。
• ALED でクリーン化したデータで再訓練した場合の下流の利点を示し、理論的根拠を提供する。

提案手法

• DCNNの末端前の特徴を抽出し、平均プールして z_pool を形成する。
• z_pool を平均差プロジェクションとランダムプロジェクションを用いて低次元空間へ射影し、頑健な MCD でクラスガウスを推定する。
• ガウス拟合のアンサンブルを実行し、与えられたクラスと代替クラスの尤度比を計算してしきい値 τ で誤ラベルを検出する。
• 誤ラベルサンプルを特定し、そのラベルを切り替え、クリーンなデータでモデルをファインチューニングして M_adj を得る。
• ALED は statlab パッケージ内の Python 実装で、CL および CL with features に対して評価される。

実験結果

リサーチクエスチョン

• RQ1 DCNN の中間特徴空間の幾何学が、現実的なラベルノイズの下で誤ラベルサンプルを信頼性高く検出するのに活用できるか。
• RQ2 ALED は confident learning 法と比較して、誤ラベルデータ検出の感度（リコール）を高めつつ精度を犠牲にしないか。
• RQ3 ALED によって情報を得たクリーンなデータセットは、下流のモデルの一般化に有意な改善をもたらすか。
• RQ4 ALED はモデルアーキテクチャ、データセット、および異なる誤ラベリング率に対してどれだけ頑健か。

主な発見

• ALED は、複数のデータセットで CL と比較して誤ラベルサンプル検出感度を高く（例：約84.7% 対 42.3%）、精度はほぼ同等を維持。
• ALED でクリーン化したデータで事前学習済みモデルをファインチューニングするとテスト誤差が 33.8% 減少し、CL のバリアントより優れる。
• ALED は PneumoniaMNIST、BreastMNIST、RetinaMNIST、BloodMNIST の DenseNet121 および ResNet50 アーキテクチャで一貫して F1 および AUPRC を改善。
• ALED の性能優位性は、スクラッチから学習したネットワークより事前学習済みネットワークでより顕著。
• 本論はクラス平均の差に沿って射影する理論的根拠を提供し、低次元特徴空間でのガウス推定には頑健な MCD を使用する。