[論文レビュー] CFUN: Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation

Zhanwei Xu, Ziyi Wu+1 more|arXiv (Cornell University)|Dec 12, 2018

Advanced Neural Network Applications参考文献 16被引用数 46

ひとこと要約

CFUN は心臓位置決定のために修正された 3D Faster R-CNN を統合し、3D U-net を用いたセグメンテーションと組み合わせ、3D Edge-loss ヘッドを補助することで、全心臓セグメンテーションを高速かつ競争力のある精度で実現します。

ABSTRACT

In this paper, we propose a novel heart segmentation pipeline Combining Faster R-CNN and U-net Network (CFUN). Due to Faster R-CNN's precise localization ability and U-net's powerful segmentation ability, CFUN needs only one-step detection and segmentation inference to get the whole heart segmentation result, obtaining good results with significantly reduced computational cost. Besides, CFUN adopts a new loss function based on edge information named 3D Edge-loss as an auxiliary loss to accelerate the convergence of training and improve the segmentation results. Extensive experiments on the public dataset show that CFUN exhibits competitive segmentation performance in a sharply reduced inference time. Our source code and the model are publicly available at https://github.com/Wuziyi616/CFUN.

研究の動機と目的

• 効率的な全心臓セグメンテーションをパッチベースのタイル化を用いず、心臓領域に焦点を当てることで動機づける。
• 修正された Faster R-CNN に 3D U-net を埋め込み、全ての心臓構造を一度にセグメントする検出-セグメンテーションパイプラインを開発する。
• 3D Edge-loss ヘッドを導入し、トレーニングを加速しセグメンテーションの境界精度を向上させる。
• MM-WHS2017 で CFUN を評価し、Dice スコアと推論時間の点で最先端手法と比較する。

提案手法

• CT ボリュームの次元を扱うため P3D ボトルネックを持つ 3D に拡張した Faster R-CNN を適用する。
• RPN の心臓位置推定のため ResNet を P3D に置換し、マルチスケール特徴融合のための FPN を追加する。
• RoI アライン済みの心臓領域を入力として受け取るように、修正した 3D U-net をセグメンテーションネットワークとして埋め込む。
• デコーダで深層監視を行い、出力サイズを細分化するために追加のデコンボリューション層を用いる。
• 固定 3D Sobel-kernel を用いた 3D Edge-loss ヘッドを導入し、予測とグラウンドトゥルース間のエッジの一貫性を強制する。
• 学習は複合損失 L = w1 L_box + w2 L_cls + w3 L_seg + w4 L_edge の重み 2:2:2:1 で行う。

実験結果

リサーチクエスチョン

• RQ1 検出ベースのパイプラインは全心臓セグメンテーションにおいてパッチベースのタイル化手法を上回ることができるのか？
• RQ2 修正された Faster R-CNN に 3D U-net を埋め込むことでセグメンテーション精度が改善され、推論時間が短縮されるのか？
• RQ3 3D Edge-loss ヘッドは境界精度と収束の速さに寄与するのか？
• RQ4 CFUN は MM-WHS2017 における 3D U-net および多段階 CNN アプローチと比べて Dice スコアと速度の点でどうか？

主な発見

• CFUN は MM-WHS2017 テストデータで平均 Dice スコア 0.859 を達成し、競合の優勝者と競合する性能を示した。
• CFUN は 10 秒未満（データ読み込みと後処理を含めて 15 秒未満）で心臓をセグメントする。
• アブレーションにより Bounding Box Refinement ヘッドが検出精度を向上させ、Edge-loss ヘッドが境界品質を向上させることが示された。
• 3D U-net および二段階 U-net と比較して、CFUN は推論を高速化しつつ同等かそれ以上の性能を提供する。
• CFUN の単一のバウンディングボックスアプローチはタイル化およびパッチ処理を回避し、グローバルな心臓情報を活用して正則化されたセグメンテーションを実現する。