[論文レビュー] FocusNet: Imbalanced Large and Small Organ Segmentation with an End-to-End Deep Neural Network for Head and Neck CT Images

Yunhe Gao, Rui Huang+8 more|arXiv (Cornell University)|Jul 28, 2019

Head and Neck Cancer Studies参考文献 10被引用数 10

ひとこと要約

FocusNet は、頭頸部CTにおける大規模臓器と小規模臓器の不均衡なセグメンテーションに対処するエンドツーエンドの3次元畳み込みニューラルネットワークであり、大規模臓器にはメインネットワークを、小規模臓器にはROIプールドのマルチスケール特徴を用いた専用サブネットワークを適用する。本手法は、実際の患者データおよびMICCAI 2015データセットの両方で最先端の性能を達成し、平均95%ハウスドルフ距離が2.62、Diceスコアが80.29であった。特に視神経や視交叉といった小規模臓器において、先行手法を著しく上回った性能を発揮した。

ABSTRACT

In this paper, we propose an end-to-end deep neural network for solving the problem of imbalanced large and small organ segmentation in head and neck (HaN) CT images. To conduct radiotherapy planning for nasopharyngeal cancer, more than 10 organs-at-risk (normal organs) need to be precisely segmented in advance. However, the size ratio between large and small organs in the head could reach hundreds. Directly using such imbalanced organ annotations to train deep neural networks generally leads to inaccurate small-organ label maps. We propose a novel end-to-end deep neural network to solve this challenging problem by automatically locating, ROI-pooling, and segmenting small organs with specifically designed small-organ sub-networks while maintaining the accuracy of large organ segmentation. A strong main network with densely connected atrous spatial pyramid pooling and squeeze-and-excitation modules is used for segmenting large organs, where large organs' label maps are directly output. For small organs, their probabilistic locations instead of label maps are estimated by the main network. High-resolution and multi-scale feature volumes for each small organ are ROI-pooled according to their locations and are fed into small-organ networks for accurate segmenting small organs. Our proposed network is extensively tested on both collected real data and the \emph{MICCAI Head and Neck Auto Segmentation Challenge 2015} dataset, and shows superior performance compared with state-of-the-art segmentation methods.

研究の動機と目的

• 頭頸部CTにおける不均衡なセグメンテーションの課題に対処すること。特に、大規模臓器（例：耳下腺）に比べて体積がはるかに小さい小規模臓器（例：水晶体、視神経）では、モデルの性能が著しく低下するためである。
• 不均衡なデータで学習された標準的なCNNの限界を克服し、大規模および小規模臓器の両方において高精度なセグメンテーションを同時に達成できるエンドツーエンドのディープラーニングフレームワークを開発すること。
• 臨床的アノテーションの実践を模倣するために、まず小規模臓器の局在を特定し、その後に高解像度でマルチスケール特徴処理を適用して正確なセグメンテーションを実現すること。
• クラスの不均衡を軽減するために、重み付きファーコーストロスと一般化Diceロスを組み合わせることで、小規模臓器における汎化性とロバスト性を向上させること。
• 自ら収集した50例の患者スキャンデータセットおよびMICCAI 2015 Head and Neck Auto Segmentation Challengeデータセットの両方で、本手法を検証すること。

提案手法

• FocusNet は3段階のアーキテクチャを採用する：大規模臓器のための強力なメインセグメンテーションネットワーク（S-Net）、小規模臓器の中心位置を予測する小規模臓器局在ブランチ（SOL-Net）、および高精度なセグメンテーションを実現する小規模臓器セグメンテーションブランチ（SOS-Net）。
• S-Net は、密度結合アトラス空間畳み込みプーリング（DenseASPP）と squeeze-and-excitation モジュールを用いて特徴表現を強化し、大規模臓器のセグメンテーション精度を維持する。
• SOL-Net は小規模臓器の確率的中心マップを予測するように学習され、これによりメインネットワークからの高解像度でマルチスケールの特徴をROIプールリングで抽出する。
• ROIプールドされた特徴は、SOS-Net に供給され、小規模臓器の微細な高解像度セグメンテーションが可能となり、低コントラストや小さなサイズにもかかわらず正確な境界予測が可能になる。
• 本ネットワーク全体は、大規模臓器と小規模臓器の間で深刻なクラスの不均衡を解消するために、重み付きファーコーストロスと一般化Diceロスを組み合わせた損失関数を用いて共同最適化される。
• すべてのブランチで共有された特徴ボリュームを用いてエンドツーエンドで学習されるため、パラメータ効率が良く、一貫性のある特徴学習が保証される。

実験結果

リサーチクエスチョン

• RQ1 極端なサイズの不均衡がある頭頸部CTにおいて、統合されたディープラーニングフレームワークが、大規模および小規模臓器の両方で優れたセグメンテーション性能を達成できるか？
• RQ2 マルチスケール特徴のROIプールリングを介して小規模臓器の局在とセグメンテーションを分離することで、従来のU-Netスタイルのネットワークと比較して精度が向上するか？
• RQ3 小規模臓器の中心位置を予測する専用の局在ブランチ（SOL-Net）が、その後続のセグメンテーションネットワーク（SOS-Net）の性能を向上させるか？
• RQ4 重み付きファーコーストロスと一般化Diceロスの組み合わせが、不均衡な臓器セグメンテーションタスクにおけるモデルの収束性と性能に与える影響は何か？
• RQ5 本手法は、視神経や視交叉のような体積が小さい小規模臓器に対しても、実臨床データおよびMICCAI 2015のようなベンチマークデータセットに十分に一般化できるか？

主な発見

• MICCAI 2015テストセットにおいて、FocusNet は平均95%ハウスドルフ距離が2.62を達成し、次に優れた手法（6.72）を著しく上回り、境界精度が優れていることが示された。
• MICCAI 2015データセットにおいて、FocusNet は平均Diceスコア80.29を達成し、トップパフォーマンスを示した手法（79.24）を上回り、視神経や視交叉といった小規模臓器において大きな差を示した。
• 視神経（左および右）では、それぞれDiceスコアが73.5 ± 9.6および74.4 ± 7.2を達成し、追加の学習データを使用した手法を含め、すべての先行手法を上回った。
• S-Netのバックボーン単体でも、Zhuらが使用した学習データの15%のみを用いてMICCAI 2015で79.25のDiceスコアを達成しており、強力な特徴表現能力を示した。
• アブレーションスタディの結果、不均衡の問題を解決しないままネットワーク容量を増加させても（Fat U-Netを用いても）性能が向上しなかったことから、アーキテクチャ設計と損失関数の重要性が裏付けられた。
• 小規模臓器の最適なROIサイズは、臓器の辺長の3倍であると判明し、文脈情報と解像度のバランスを最適化することで、最高のセグメンテーション結果が得られた。