[論文レビュー] CheXseg: Combining Expert Annotations with DNN-generated Saliency Maps for X-ray Segmentation

Soham Gadgil, Mark Endo+3 more|arXiv (Cornell University)|Feb 21, 2021

Advanced X-ray and CT Imaging参考文献 28被引用数 7

ひとこと要約

CheXsegは、放射線科医がアノテートしたピクセル単位のラベルと、事前に訓練された分類モデルから生成されたDNNによるサリエンシーマップを組み合わせることで、多病変胸部X線画像のセグメンテーションを向上させる半教師あり手法を提案する。高品質な専門家アノテーションとスケーラブルな弱教師あり学習を活用することで、完全教師あり手法に比べてmIoUが9.7%向上し、専門家との性能差を57.2%縮小した。

ABSTRACT

Medical image segmentation models are typically supervised by expert annotations at the pixel-level, which can be expensive to acquire. In this work, we propose a method that combines the high quality of pixel-level expert annotations with the scale of coarse DNN-generated saliency maps for training multi-label semantic segmentation models. We demonstrate the application of our semi-supervised method, which we call CheXseg, on multi-label chest X-ray interpretation. We find that CheXseg improves upon the performance (mIoU) of fully-supervised methods that use only pixel-level expert annotations by 9.7% and weakly-supervised methods that use only DNN-generated saliency maps by 73.1%. Our best method is able to match radiologist agreement on three out of ten pathologies and reduces the overall performance gap by 57.2% as compared to weakly-supervised methods.

研究の動機と目的

• 医療画像セグメンテーションにおけるピクセル単位の専門家アノテーションの高コストと希少性に対処する。
• DNNが生成するサリエンシーマップにのみ依存する弱教師あり手法の限界を克服する。これらのサリエンシーマップはしばしば信頼性が低く、正確性に欠けることがある。
• 専門家アノテーションの精度と、事前に訓練された分類モデルからのスケーラブルな弱教師あり学習を効果的に統合する半教師ありフレームワークを開発する。
• 特にアテレクタシスや胸水貯留といった一般的な病変に対して、多病変胸部X線画像解釈におけるセグメンテーション性能を向上させる。
• タスク固有の事前訓練済み重み（CheXpert）をモデル初期化に用いることで、汎用的ImageNetや自己教師あり（MoCo）の重みに比べて性能が顕著に向上することを示す。

提案手法

• 224,316枚の画像を含むCheXpertデータセットを用いて、10種類の一般的な胸部X線病変を対象に多病変セグメンテーションタスクを実施する。
• 事前に訓練された分類モデルから得たGrad-CAM++サリエンシーマップにIRNet（ピクセル間関係ネットワーク）を適用し、偽ラベルを生成する。
• 150件の専門家がアノテートしたピクセル単位のラベルと1,000件のサリエンシーマップからの偽ラベルを重み付きで組み合わせて、DeepLabV3+セグメンテーションモデルを訓練する。
• 専門家アノテーションとサリエンシーマップのバランスを取るためのサンプリング戦略を適用し、mIoUが最良となる最適比は0.9（専門家ラベル対偽ラベル）であった。
• セグメンテーションエンコーダーを、同じデータセットとタスクで事前学習されたCheXpertモデルの重みで初期化することで、ImageNetやMoCo-CXRに比べて優れた特徴転送が可能になる。
• ホールドアウトされたテストセット（500枚の放射線科医がアノテートした画像）を用いて、10病変の平均交差率（mIoU）で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 専門家がアノテートしたピクセル単位のラベルとDNNが生成するサリエンシーマップを組み合わせることで、完全教師ありや弱教師ありベースラインに比べてセグメンテーション性能が顕著に向上するか？
• RQ2 エンコーダー初期化の選択（CheXpert、ImageNet、MoCo-CXR、ランダム）が、半教師ありセグメンテーションモデルの性能に与える影響は何か？
• RQ3 mIoUと一般化性能の観点から、専門家アノテーションとサリエンシーマップ偽ラベルの最適なバランスは何か？
• RQ4 提案手法が、自動セグメンテーションと放射線科医レベルの局在精度との間の性能差をどの程度縮小するか？
• RQ5 タスク固有の事前訓練済み重み（CheXpert）を用いることで、汎用的学習や自己教師あり手法に比べて優れたセグメンテーション性能が得られるか？

主な発見

• CheXsegは平均交差率（mIoU）0.270を達成し、専門家アノテーションのみを用いた完全教師あり手法（mIoU = 0.246）に比べて9.7%の向上を達成した。
• CheXsegは、DNNが生成するサリエンシーマップにのみ依存する弱教師あり手法（mIoU = 0.156）と比較して、専門家レベルの局在精度との差を57.2%縮小した。
• CheXsegは3つの病変において放射線科医を上回るmIoUを達成した：アテレクタシス（156%高い）、気道透過性低下（70%高い）、胸水貯留（30%高い）。
• CheXpertによるエンコーダー初期化が最も高い性能を示し、ImageNetやMoCo-CXR初期化を上回り、ランダム初期化に比べて顕著に一般化性能が向上した。
• IRNetを用いた偽ラベル生成法は、CheXpert初期化と組み合わせると標準的なGrad-CAMを上回った（mIoU 0.156 vs. 0.142）が、他の初期化では性能が劣った。
• 最適なトレーニング戦略は、専門家ラベル対偽ラベルの比率を0.9に設定することであり、精度とカバー範囲のバランスを最適化してmIoUを最大化した。