[論文レビュー] Conditional Generative Refinement Adversarial Networks for Unbalanced Medical Image Semantic Segmentation

Mina Rezaei, Haojin Yang+1 more|arXiv (Cornell University)|Oct 9, 2018

AI in cancer detection参考文献 4被引用数 22

ひとこと要約

本稿では、生成ネットワーク、識別ネットワーク、リファインメントネットワークを統合した条件付き生成的リファインメント敵対的ネットワーク（cG-RAN）を提案する。この手法は、医療画像の意味的セグメンテーションにおけるクラス不均衡問題に対処する。本手法は、実際の出力と合成されたセグメンテーション出力を同時に学習し、誤検出と誤検出を明示的にモデル化することで、肝臓病変、脳腫瘍、顕微鏡的細胞セグメンテーションのベンチマークで最先端の性能を達成し、精度を損なわずに感度を著しく向上させた。

ABSTRACT

We propose a new generative adversarial architecture to mitigate imbalance data problem in medical image semantic segmentation where the majority of pixels belongs to a healthy region and few belong to lesion or non-health region. A model trained with imbalanced data tends to bias toward healthy data which is not desired in clinical applications and predicted outputs by these networks have high precision and low sensitivity. We propose a new conditional generative refinement network with three components: a generative, a discriminative, and a refinement network to mitigate unbalanced data problem through ensemble learning. The generative network learns to a segment at the pixel level by getting feedback from the discriminative network according to the true positive and true negative maps. On the other hand, the refinement network learns to predict the false positive and the false negative masks produced by the generative network that has significant value, especially in medical application. The final semantic segmentation masks are then composed by the output of the three networks. The proposed architecture shows state-of-the-art results on LiTS-2017 for liver lesion segmentation, and two microscopic cell segmentation datasets MDA231, PhC-HeLa. We have achieved competitive results on BraTS-2017 for brain tumour segmentation.

研究の動機と目的

• 健康組織が優勢で病変が希少な医療画像の意味的セグメンテーションにおけるクラス不均衡の課題に対処する。
• 臨床現場において病変を逃すコストが高いため、感度を向上させつつ、精度を低下させない。
• 生成ネットワーク、識別ネットワーク、リファインメントネットワークの3つのネットワークを統合したアンサンブル学習を活用する深層学習フレームワークを開発する。
• リファインメントネットワークを用いて誤検出と誤検出を明示的にモデル化することで、多数クラスへのバイアスを軽減する。
• 3次元CT、MRI、顕微鏡的細胞画像を含む多様な医療画像処理タスクへの汎用性を実証する。

提案手法

• 生成ネットワークは、2次元マルチモodal画像スライスを条件として、時間的依存性を双方向LSTMを用いてモデル化し、ピクセル単位のセグメンテーションマスクを出力する。
• 識別ネットワークは、生成ネットワークの出力が本物の正解マスクかを識別するため、ミニマックス学習目的関数を用いてリアルさを評価する。
• リファインメントネットワークは、生成ネットワークの出力から誤検出マスクと誤検出マスクを予測し、誤分類された領域の補正を可能にする。
• 最終的なセグメンテーションマスクは、生成ネットワークの出力とリファインメントネットワークの補正を組み合わせることで形成され、精度と再現率の両方を向上させる。
• 特に小規模なデータセットにおいて学習を安定化させるために、同じ患者のすべての画像を対象に患者単位のミニバッチ正規化を適用する。
• 敵対的損失と、Dice係数やハウスドルフ距離などのセグメンテーション品質指標を重視する複合損失関数を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 専用のリファインメントネットワークを備えた条件付きGANは、精度を損なわず、不均衡な医療画像セグメンテーションにおける感度を向上させることができるか？
• RQ2 生成ネットワーク、識別ネットワーク、リファインメントネットワークという3つの異なるネットワークを統合したアンサンブル学習は、医療画像セグメンテーションにおける多数クラスへのバイアスをどのように軽減するか？
• RQ3 小規模な医療データセットで学習する際、患者単位のミニバッチ正規化はモデル性能にどのような影響を与えるか？
• RQ4 誤検出と誤検出の予測ヘッドを含めることで、希少な解剖的・病理的構造のセグメンテーション品質は著しく向上するか？
• RQ5 このアーキテクチャは、CT、MRI、顕微鏡的細胞画像を含む多様な医療画像処理タスクにどの程度汎用的に適用可能か？

主な発見

• 肝臓病変セグメンテーションのLiTS-2017データセットでは、本手法が最先端の性能を達成し、ベースラインモデルと比較して感度を顕著に向上させた。
• PhC-HeLa顕微鏡的細胞データセットでは、cGAN+Refinementモデルが交差率（IoU）0.951を達成し、MISS-GAN（0.943）とU-Net（0.92）を上回った。
• MDA231データセットでは、IoUが0.93、感度が0.92を達成し、U-NetとKTH-SEモデルを上回った。
• リファインメントネットワークは誤検出率（FPR）と誤検出率（FNR）を効果的に低減し、MDA231ではそれぞれ0.07と0.08まで低下した。
• 患者単位のミニバッチ正規化は、MDA231やPhC-HeLaのような小規模データセットでの性能向上に寄与し、データオーグメンテーションと組み合わせると特に顕著だった。
• 学習中にガウスノイズを追加すると、小規模データセットでは結果が悪化したが、BraTS-2017のような大規模データセットではほとんど影響がなかった。