[論文レビュー] Imperfect Segmentation Labels: How Much Do They Matter?

Nicholas Heller, Joshua Dean+1 more|arXiv (Cornell University)|Jun 12, 2018

Advanced Neural Network Applications参考文献 16被引用数 5

ひとこと要約

本研究では、特に境界局所化エラーを含む不完全なセグメンテーションラベルが、医療画像セグメンテーションにおけるディープラーニングモデルに与える影響を調査する。Liver Segmentation Datasetを用い、U-Net、SegNet、FCN32を用いて実験した結果、境界ノイズが増加するにつれて性能が徐々に低下するが、U-Netは他のモデルと比較して、粗い境界ノイズに対して著しく頑健である一方、すべてのモデルがランダムラベルエラーに対しては非常に耐性があることが示された。

ABSTRACT

Labeled datasets for semantic segmentation are imperfect, especially in medical imaging where borders are often subtle or ill-defined. Little work has been done to analyze the effect that label errors have on the performance of segmentation methodologies. Here we present a large-scale study of model performance in the presence of varying types and degrees of error in training data. We trained U-Net, SegNet, and FCN32 several times for liver segmentation with 10 different modes of ground-truth perturbation. Our results show that for each architecture, performance steadily declines with boundary-localized errors, however, U-Net was significantly more robust to jagged boundary errors than the other architectures. We also found that each architecture was very robust to non-boundary-localized errors, suggesting that boundary-localized errors are fundamentally different and more challenging problem than random label errors in a classification setting.

研究の動機と目的

• 医療画像におけるディープラーニングベースのセマンティックセグメンテーションモデルに、不完全な真値セグメンテーションラベルが与える影響を評価すること。
• 境界局所化エラー（例：粗い輪郭）と非境界局所化エラー（例：ランダムなピクセルシフト）の影響を区別すること。
• U-Net、SegNet、FCN32といった異なるアーキテクチャが、制御されたラベル摂動条件下でどのように頑健性を示すかを評価すること。
• セグメンテーションタスクにおいて、境界エラーがランダムラベルノイズよりも根本的に深刻であるかどうかを調査すること。
• 医療画像解析におけるデータセットキュレーションにおけるラベル品質のトレードオフの意味を検討すること。

提案手法

• Liver Segmentation Datasetの真値マスクを、自然な状態、チョッパリー（粗い境界）状態、ランダム（構造のないピクセルシフト）の3つのモードで摂動処理した。
• 各摂動処理済みの学習データに対して、U-Net、SegNet、FCN32を訓練し、バリデーションおよびテストセットは元の状態を維持した。
• 各モデル-摂動ペアについて5回の独立した学習を実施し、統計的信頼性を確保した。合計で150回の学習セッションを実施した。
• セグメンテーション精度の標準指標であるDice-Sorensen係数を用いてモデル性能を評価した。
• 摂動度合いの異なる状態（0.85、0.90、0.95）における性能トレンドを分析し、劣化の度合を定量化した。
• 3D CTデータを用いて、解剖的平面に跨るラベルの不一致を検証し、現実的で妥当な摂動モードの設計に活用した。

実験結果

リサーチクエスチョン

• RQ1 境界局在ラベルエラーの存在が、ディープラーニングベースのセグメンテーションモデルの性能にどのように影響するか？
• RQ2 U-Net、SegNet、FCN32といった異なるセグメンテーションアーキテクチャは、境界ノイズに対してどのように頑健性を示すか？
• RQ3 ランダムピクセル摂動といった非境界局在エラーは、モデルにどの程度の影響を与えるか？
• RQ4 ラベルエラーの度合いと、それに伴う性能劣化の間には、体系的な関係があるか？
• RQ5 U-Netのスキップ接続といったアーキテクチャ的要因は、粗い境界ラベルの影響を軽減できるか？

主な発見

• すべてのモデルが、境界局在摂動の増加に伴い性能が徐々に低下した。これは、境界エラーが性能劣化の主要因であることを示している。
• U-Netは、SegNet や FCN32 と比較して、大きなチョッパリー境界摂動に対して著しく高い頑健性を示した。0.95の摂動レベルでも、Diceスコアが依然として高い水準を維持した。
• すべてのモデルがランダムラベル摂動に対して非常に耐性があり、一部のモデルでは元の学習データのスコアを上回る結果が得られた（例：U-Netは0.90のランダムノイズで0.9213、コントロールは0.9134）。
• 境界ノイズ下での性能劣化は、モデル間で一貫しており、エラー発生頻度とモデル性能の間に一般化可能な関係があると示唆された。
• U-Netのスキップ接続は、粗い輪郭に対してもエッジ情報を保持している可能性があり、これがU-Netの優れた境界ノイズ耐性の理由であると考えられる。
• ランダム摂動下では、モデルの性能低下が最小限に抑えられ、境界特異的エラーと比較して学習プロセスを著しく誤魔化さないことが示された。