[論文レビュー] Uncertainty Based Detection and Relabeling of Noisy Image Labels

Jan M. Köhler, Maximilian Autenrieth+1 more|arXiv (Cornell University)|May 29, 2019

Industrial Vision Systems and Defect Detection被引用数 19

ひとこと要約

本論文では、ディープアンサンブルとモンテカルロドロップアウトからの予測不確実性を用いて、ノイズのある画像ラベルを検出し、再ラベルする不確実性ベースの反復的手法を提案する。高不確実性を持つ画像（ラベルノイズを示唆）を特定し、トレーニング中のモデル挙動を活用することで、検出精度が高く（最大94.3％）、一般化性能が向上し、特にCIFAR-10およびCIFAR-100データセットにおいてオラクル再ラベルと組み合わせた場合に顕著である。

ABSTRACT

Deep neural networks (DNNs) are powerful tools in computer vision tasks. However, in many realistic scenarios label noise is prevalent in the training images, and overfitting to these noisy labels can significantly harm the generalization performance of DNNs. We propose a novel technique to identify data with noisy labels based on the different distributions of the predictive uncertainties from a DNN over the clean and noisy data. Additionally, the behavior of the uncertainty over the course of training helps to identify the network weights which best can be used to relabel the noisy labels. Data with noisy labels can therefore be cleaned in an iterative process. Our proposed method can be easily implemented, and shows promising performance on the task of noisy label detection on CIFAR-10 and CIFAR-100.

研究の動機と目的

• 深層学習データセットにおけるラベルノイズの問題に取り組み、モデルの一般化性能を損ないや、過学習を引き起こす要因となること。
• 真のラベルに関する事前知識を必要とせずに、ノイズラベルを検出する手法を開発すること。
• 不確実性推定を用いて、ノイズのある画像を反復的に再ラベルする仕組みを実現し、モデル性能を向上させること。
• 複数のデータセットおよびアーサテクチャにおいて、対称的ノイズおよびペアノイズという現実的なノイズパターンを対象に、手法の評価を行うこと。

提案手法

• 推論時に各画像の予測不確実性を推定するために、ディープアンサンブルとモンテカルロドロップアウトを用いる。
• 複数回の順方向伝搬における標準偏差、ソフトマックス出力の分散比、最大ソフトマックス確率といった不確実性統計量を計算する。
• 期待値最大化（EM）を用いて不確実性スコアにベータ分布の混合モデルをフィットさせ、ノイズラベル検出のための適応的しきい値設定を可能にする。
• トレーニング中の不確実性の傾向（例：ソフトマックスベクトルの標準偏差）をモニタリングすることで、真のラベルからノイズラベルに予測がシフトするタイミングを特定し、最適な再ラベルエポックを同定する。
• 検出されたノイズラベルを再ラベルし、モデルを再トレーニングする反復的クリーニングプロセスを実装する。
• 適合した分布に基づいてしきい値を動的に調整することで、ノイズの減少に伴い誤検出を低減するなど、検出の選別能を制御する。

実験結果

リサーチクエスチョン

• RQ1 ディープアンサンブルとMCドロップアウトからの予測不確実性は、画像分類においてクリーンラベルとノイズラベルを効果的に区別できるか？
• RQ2 トレーニング中の不確実性指標の時間的挙動は、ノイズラベルの再ラベルに最適なタイミングを特定するのにどのように寄与するか？
• RQ3 反復的不確実性ベースのフィルタリングは、対称的ノイズおよびペアノイズを含むデータセットにおいて、モデルの一般化性能をどの程度向上できるか？
• RQ4 ノイズ例の数が減少するに従い、ノイズラベルの検出精度はどのように変化するか、特に複数反復にわたってどうなるか？
• RQ5 真のラベルが入手できない状況でも、トレーニング中のモデル挙動のみに依存して、不確実性ベースの検出が有効に機能するか？

主な発見

• ディープアンサンブルとMCドロップアウトの組み合わせが、最も頑健な不確実性推定をもたらし、対称的ノイズ40％のCIFAR-10で94.3％の検出精度を達成した。
• 分散比と最大ソフトマックス確率が、対称的ノイズおよびペアノイズの両設定において、ノイズラベル検出に最も効果的な不確実性統計量であった。
• 5反復後にノイズラベル数を20,000（40％）から10,773（21.5％）に削減できたが、後期段階では検出精度が0.722に低下した。
• オラクル再ラベルと組み合わせた場合、CIFAR-10におけるモデル精度は77.3％から84.7％に向上し、反復的クリーニングプロセスの有効性が示された。
• 不確実性のトレンド（初期には低下し、その後上昇）は、最適な再ラベルエポックを特定する信頼できるシグナルを提供した。特に、複数回の順方向伝搬におけるソフトマックス出力の標準偏差が強力なヒューリスティックであった。
• EMで適合されたベータ分布の混合モデルは、不確実性分布をモデル化する頑健な手法を提供し、時間経過とともに検出の選別能を向上させる適応的しきい値設定を可能にした。