[論文レビュー] Learning From Noisy Labels By Regularized Estimation Of Annotator Confusion

Ryutaro Tanno, Ardavan Saeedi+3 more|arXiv (Cornell University)|Feb 10, 2019

Machine Learning and Data Classification参考文献 38被引用数 31

ひとこと要約

本稿では、正則化項を用いて分類器の予測と個々のアノテータの誤り行列を同時に推定することで、ノイズのあるラベルからの学習をシンプルかつ効果的に実現する手法を提案する。この正則化項は、低ランクで最大限に信頼性の低い誤り行列を促進する。本手法は、画像分類タスクにおいて、1枚の画像につき1つのラベルしか利用できない状況ですら、最先端の手法を上回る性能を発揮し、特に対角優位性が低く、ラベルが疎な状況下でも、アノテータのスキルとラベルノイズを正確に回復できる。

ABSTRACT

The predictive performance of supervised learning algorithms depends on the quality of labels. In a typical label collection process, multiple annotators provide subjective noisy estimates of the "truth" under the influence of their varying skill-levels and biases. Blindly treating these noisy labels as the ground truth limits the accuracy of learning algorithms in the presence of strong disagreement. This problem is critical for applications in domains such as medical imaging where both the annotation cost and inter-observer variability are high. In this work, we present a method for simultaneously learning the individual annotator model and the underlying true label distribution, using only noisy observations. Each annotator is modeled by a confusion matrix that is jointly estimated along with the classifier predictions. We propose to add a regularization term to the loss function that encourages convergence to the true annotator confusion matrix. We provide a theoretical argument as to how the regularization is essential to our approach both for the case of single annotator and multiple annotators. Despite the simplicity of the idea, experiments on image classification tasks with both simulated and real labels show that our method either outperforms or performs on par with the state-of-the-art methods and is capable of estimating the skills of annotators even with a single label available per image.

研究の動機と目的

• アノテータのスキルレベルやバイアスのばらつきによってラベルがノイズ混じりとなる状況下で、正確なモデルを学習する課題に対処すること。
• 多数決投票や大規模なラベルの冗長性に依存せずに、真のラベル分布と個々のアノテータの誤り行列を同時に推定すること。
• 理論的裏付けがあり、かつ実用的にシンプルな手法を開発すること。標準的な交差エントロピー損失に正則化項を追加するだけで実装可能であること。
• 医療画像診断のような高コスト分野で一般的な1例につき1ラベルの状況でも、ラベルノイズを正確にモデル化できること。

提案手法

• トレーニング中に分類器と jointly に推定される、各アノテータごとの誤り行列をモデル化する。
• 損失関数に、推定された誤り行列のトレースを最小化する正則化項を導入することで、最大限の信頼性の低さを促進し、真のノイズパターンへの収束を促進する。
• ノイズ混じりのラベルに分類器をフィットさせるために交差エントロピー損失を用いながら、誤り行列の正則化によりノイズへの過剰適合を回避する。
• 本手法は、標準的な交差エントロピー損失に単一の正則化項を追加する形で実装されるため、既存のディープラーニングパイプラインへの統合が容易である。
• 理論的分析により、平均誤り行列が対角優位である場合に特に、正則化が真のアノテータ誤り行列を回復する上で不可欠であることが示された。
• 反復的なEMベースの最適化を回避することで、従来の共同推定手法と比較して、より高速かつ安定したトレーニングが可能である。

実験結果

リサーチクエスチョン

• RQ1 反復的なEM最適化を要しないシンプルな正則化に基づく手法が、多数決投票や大規模ラベル冗長性に依存せずに、真のラベル分布と個々のアノテータ誤り行列を同時に推定できるか。
• RQ2 1例につき1つのラベルしか利用できない状況下でも、本手法がアノテータのスキルとラベルノイズをどれほど正確に回復できるか。
• RQ3 誤り行列を通じて個々のアノテータをモデル化することで、アノテータ固有のノイズを無視する手法と比較して、分類精度が向上するか。
• RQ4 特に平均誤り行列の対角優位性に関する条件下で、正則化項が真のノイズパターンの一貫した回復を保証する条件は何か。
• RQ5 シミュレートされたおよび実世界のノイズラベル状況下で、MBEM や一般化EM といった最先端手法と比較して、本手法の性能と頑健性はどの程度か。

主な発見

• MNIST および CIFAR-10 において、シミュレートされたノイズラベルを用いた実験では、MBEM や一般化EM といった最先端手法と同等またはそれ以上の分類精度を達成し、特にラベル冗長性が低い状況下で顕著である。
• 1枚の画像につき1つのラベルしか利用できない状況でも、本手法は高い性能を維持するが、ベースライン手法は著しく精度が低下する。
• 超音波画像からの心臓画像視点分類の実データセットを用いた実験では、分類精度と誤り行列推定の質の両面で、MBEM を上回った。
• 推定された誤り行列は、熟練アノテータと非熟練アノテータを明確に区別でき、A3C と A5C 視点の間で頻繁に誤りが生じるパターンが明確に現れた。
• 学習済み誤り行列の平均対角要素を計算することで、アノテータのスキルレベルを正確に回復でき、熟練者による直感と整合的である。
• 理論的分析により、平均誤り行列が対角優位である場合に特に、正則化がアノテータ誤り行列の一貫した回復に不可欠であることが確認された。