[論文レビュー] Pick-and-Learn: Automatic Quality Evaluation for Noisy-Labeled Image Segmentation

Haidong Zhu, Jialin Shi+1 more|arXiv (Cornell University)|Jul 27, 2019

Machine Learning and Data Classification参考文献 13被引用数 6

ひとこと要約

本論文は、ノイズの多いラベルが付与されたデータセットにおいて、自動的に高品質なアノテーションを特定・再重み付けする自己教師付きラベル品質評価フレームワークを提案する。相対的なラベル信頼性を評価する品質認識モジュールと、一般化性能を保持するための過学習制御モジュールを導入することで、高ノイズレベル下でも、生物学的画像分類ベンチマークで最先端の性能を達成し、一部のケースではクリーンなデータで訓練されたベースラインモデルを上回る。

ABSTRACT

Deep learning methods have achieved promising performance in many areas, but they are still struggling with noisy-labeled images during the training process. Considering that the annotation quality indispensably relies on great expertise, the problem is even more crucial in the medical image domain. How to eliminate the disturbance from noisy labels for segmentation tasks without further annotations is still a significant challenge. In this paper, we introduce our label quality evaluation strategy for deep neural networks automatically assessing the quality of each label, which is not explicitly provided, and training on clean-annotated ones. We propose a solution for network automatically evaluating the relative quality of the labels in the training set and using good ones to tune the network parameters. We also design an overfitting control module to let the network maximally learn from the precise annotations during the training process. Experiments on the public biomedical image segmentation dataset have proved the method outperforms baseline methods and retains both high accuracy and good generalization at different noise levels.

研究の動機と目的

• 医療画像分野において専門家によるアノテーションが高コストであるため、ノイズが多く低品質なアノテーションが付与された画像分類データセット上で深層ニューラルネットワークを訓練するという課題に対処すること。
• 明示的な品質アノテーションを必要とせず、相対的なラベル品質を自動で評価するエンドツーエンドの手法を開発すること。
• 画像分類タスクにおけるラベルノイズの変動するレベルに応じて、モデルの一般化性能を向上させるとともに、高い精度を維持すること。
• ノイズの強いラベルを避け、高品質なラベルに注目できるメカニズムを設計すること。

提案手法

• 本手法は、セグメンテーションモジュールと並列に動作する品質認識モジュール（QAM）を備えた二重ブランチネットワークアーキテクチャを採用。入力画像とその対応するラベルを連結して処理する。
• QAMは、ミニバッチ内の各サンプルについて、予測セグメンテーションとラベルの一貫性の矛盾を分析することで、相対的な品質スコアを算出。ラベル信頼性の代理指標として損失のダイナミクスを用いる。
• QAMの出力をもとに損失値を再重み付けし、ソフトマックス正規化されたスコアを用いることで、バックプロパゲーション中に高品質なラベルからの学習を優先できる。
• 過学習を防ぐために、可変的なトレーニングサンプル数を動的に制御し、学習プロセスを安定化させる過学習制御モジュール（OCM）を導入。
• セグメンテーションモジュールと品質認識モジュールの両方にわたるジョイントバックプロパゲーションにより、エンドツーエンドで訓練。セグメンテーション性能とラベル品質推定の両方を同時に最適化。
• 外部の教師信号やラベルの正しさに関する事前知識を一切不要とせず、ミニバッチ内サンプル間の損失低下速度の相対的差を用いてラベル品質を推定する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、明示的な品質アノテーションがなくても、ノイズの多いラベルの相対的品質を自動で評価できるか？
• RQ2 トレーニング中にノイズの強いラベルからの干渉を最小限に抑えつつ、高品質なラベルからの学習を優先するネットワークの設計は可能か？
• RQ3 過学習制御メカニズムは、高レベルのラベルノイズ下でもモデルの一般化性能にどのような影響を与えるか？
• RQ4 自己教師付き品質評価戦略は、さまざまなノイズレベルにおいて、ベースライン手法と比較してどれほど高いセグメンテーション精度を維持できるか？

主な発見

• 本手法は、ラベルの50％がノイズで、最大13ピクセルのエロージョンまたはディレイションが加えられた状況下でも、クリーンなアノテーションで訓練されたモデルと同等のセグメンテーション精度を達成した。
• JSRTデータセットにおいて、75％のノイズ下でも、過学習制御モジュールを適用した場合、鎖骨のセグメンテーション精度が0.801を維持した。これは、ベースライン（0.366）を著しく上回った。
• 品質認識モジュールは、トレーニングの進行に伴い、クリーンラベルのサンプルに対する相対的重みを有意に増加させ、重みの分散が時間経過とともに減少したことから、安定的かつ一貫性のある品質推定が可能であった。
• QAMおよびOCMモジュールを備えたネットワークは、特に鎖骨など小さな解剖的構造において、ベースラインモデルに比べて低い訓練損失と高いテスト精度を示した。
• 過学習制御モジュールは不可欠であった。これを欠如させた場合、深刻な過学習が発生し、特に高ノイズレベル下で一般化性能が著しく低下し、安定性に欠ける結果となった。