[論文レビュー] Interactive Medical Image Segmentation via Point-Based Interaction and Sequential Patch Learning

Jinquan Sun, Yinghuan Shi+5 more|arXiv (Cornell University)|Apr 27, 2018

Advanced Neural Network Applications参考文献 22被引用数 11

ひとこと要約

本論文は、点ベースのインタラクションと双方向ConvRNNを用いた逐次パッチ学習により、低コントラストで不規則な形状の構造における境界検出を向上させる、新しいインタラクティブな医療画像セグメンテーション手法を提案する。中心点から発する線分に沿って抽出されたパッチからの特徴表現をモデル化することで、CT腎腫瘍、MR前立腺、PROMISE12のチャレンジにおいて最先端の性能を達成し、PROMISE12ランクインで4位を獲得した。

ABSTRACT

Due to low tissue contrast, irregular object appearance, and unpredictable location variation, segmenting the objects from different medical imaging modalities (e.g., CT, MR) is considered as an important yet challenging task. In this paper, we present a novel method for interactive medical image segmentation with the following merits. (1) Our design is fundamentally different from previous pure patch-based and image-based segmentation methods. We observe that during delineation, the physician repeatedly check the inside-outside intensity changing to determine the boundary, which indicates that comparison in an inside-outside manner is extremely important. Thus, we innovatively model our segmentation task as learning the representation of the bi-directional sequential patches, starting from (or ending in) the given central point of the object. This can be realized by our proposed ConvRNN network embedded with a gated memory propagation unit. (2) Unlike previous interactive methods (requiring bounding box or seed points), we only ask the physician to merely click on the rough central point of the object before segmentation, which could simultaneously enhance the performance and reduce the segmentation time. (3) We utilize our method in a multi-level framework for better performance. We systematically evaluate our method in three different segmentation tasks including CT kidney tumor, MR prostate, and PROMISE12 challenge, showing promising results compared with state-of-the-art methods. The code is available here: \href{https://github.com/sunalbert/Sequential-patch-based-segmentation}{Sequential-patch-based-segmentation}.

研究の動機と目的

• 低組織コントラスト、不規則な外観、変動する物体位置を示す医療画像のセグメンテーションの課題に対処すること。
• バウンディングボックスや複数のシードポイントの代わりに、医師が1つの中心点をクリックするだけで済ませることで、医師の作業負荷を軽減すること。
• 逐次的パッチ学習により、内部・外部の強度遷移をモデル化することで、境界の明確化を向上させること。
• 2Dおよび3Dへの拡張が可能な、軽量で高速かつトレーニング可能なモデルの開発

提案手法

• 医師が物体の内部から外側へ向かう線分を定義するために、1つの中心点をクリックする。
• 16本の線分に沿って、一定間隔（4または6）でパッチを逐次抽出し、内部から外部へ向かう方向の系列を形成する。
• 双方向ゲート付きConvRNNをU-Netに類似したアーキテクチャに埋め込み、系列パッチ間の空間的・時系列的表現を学習する。
• ゲート付きメモリ伝播ユニットにより、長距離依存性のモデル化と内部・外部の比較が可能となり、医師のセグメンテーション行動を模倣する。
• 異なるスケールでの特徴学習を強化するために、マルチレベルフレームワークを用いてエンドツーエンドで訓練する。
• 本手法は2D画像に適用可能であり、複数方向からの結果を統合することで3Dに拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 最小限のインタラクション（1つの中心点クリック）で、複雑な医療画像処理タスクにおいて競争力のあるセグメンテーション性能を達成できるか？
• RQ2 双方向特徴学習を用いた逐次的パッチモデル化により、低コントラストおよびぼやけた領域における境界検出が向上するか？
• RQ3 ゲート付きメモリユニットを備えた軽量で浅いネットワークが、医療画像セグメンテーションにおいて、より深いネットワークを上回る性能を発揮できるか？
• RQ4 本手法は、CTおよびMRを含む多様な医療画像処理タスクにおいて、最先端手法と比較してどのように評価されるか？

主な発見

• PROMISE12チャレンジのランクインで、合計スコア85.33を記録し、10チーム中4位を獲得した。
• 全領域ABD（1.79 mm）、ベース領域ABD（2.11 mm）、全領域95HD（5.35 mm）、全領域DSC（89.81%）、ベース領域DSC（87.49%）の各指標で最高の結果を達成した。
• 前立腺の全領域およびベース領域において、ABDおよびDSCの両面で、他の3Dディープラーニングモデルを上回った。
• モデルはコンact（5.2MB）で、トレーニングおよびテストが高速であり、最小限のユーザーインタラクションでも効果的である。
• CT腎腫瘍およびMR前立腺セグメンテーションを含む、異なるモodalitiy（モダリティ）にわたる強力な汎化性能を示した。
• 頂点領域ではDSCがやや低く（81.74%）なったが、これは上部・下部スライスにおける中心点選択のノイズによる可能性がある。