[論文レビュー] Globally Optimal Segmentation of Mutually Interacting Surfaces using Deep Learning

Hui Xie, Zhe Pan+6 more|arXiv (Cornell University)|Jul 2, 2020

Anomaly Detection Techniques and Applications参考文献 24被引用数 4

ひとこと要約

本稿では、主双対内点法（IPM）を用いた微分可能最適化とグラフベースの最適表面セグメンテーションを統合する深層学習フレームワークを提案する。表面コスト関数をパラメータ化し、U-Netバックボーンを介して学習させることで、OCTおよびIVUS画像における複数の相互作用する表面のグローバル最適セグメンテーションを実現し、表面相互作用の明示的モデリングとIPM層を介した効率的なバックプロパゲーションを組み合わせ、最先端の精度を達成した。

ABSTRACT

Segmentation of multiple surfaces in medical images is a challenging problem, further complicated by the frequent presence of weak boundary and mutual influence between adjacent objects. The traditional graph-based optimal surface segmentation method has proven its effectiveness with its ability of capturing various surface priors in a uniform graph model. However, its efficacy heavily relies on handcrafted features that are used to define the surface cost for the "goodness" of a surface. Recently, deep learning (DL) is emerging as powerful tools for medical image segmentation thanks to its superior feature learning capability. Unfortunately, due to the scarcity of training data in medical imaging, it is nontrivial for DL networks to implicitly learn the global structure of the target surfaces, including surface interactions. In this work, we propose to parameterize the surface cost functions in the graph model and leverage DL to learn those parameters. The multiple optimal surfaces are then simultaneously detected by minimizing the total surface cost while explicitly enforcing the mutual surface interaction constraints. The optimization problem is solved by the primal-dual Internal Point Method, which can be implemented by a layer of neural networks, enabling efficient end-to-end training of the whole network. Experiments on Spectral Domain Optical Coherence Tomography (SD-OCT) retinal layer segmentation and Intravascular Ultrasound (IVUS) vessel wall segmentation demonstrated very promising results. All source code is public to facilitate further research at this direction.

研究の動機と目的

• 弱い境界線と相互依存性により精度が低下する医療画像における複数の相互作用する表面のセグメンテーションの課題に対処すること。
• 表面コストモデリングに手作業で設計された特徴量に依存する従来のグラフベース手法の限界を克服すること。
• 深層学習の特徴表現能力と凸最適化のグローバル最適性を統合し、マルチ表面セグメンテーションを実現すること。
• ニューラルネットワーク層としてのIPMの実装により、制約付き最適化プロセスを微分可能とすることで、エンドツーエンドの学習を可能にすること。
• SD-OCTおよびIVUSデータを用いた実世界の医療画像処理タスク—網膜層および血管壁セグメンテーション—における本手法の有効性を示すこと。

提案手法

• 画像依存のコストパラメータを学習可能な深層ニューラルネットワーク（U-Net）を用いて、グラフベースのセグメンテーションモデルにおける表面コスト関数をパラメータ化する。
• 表面相互作用制約とグローバル最適性を強制する制約付き凸最適化問題として、マルチ表面セグメンテーションを定式化する。
• 主双対内点法（IPM）を微分可能レイヤーとして実装し、最適化問題を解くことで、最適化プロセス全体をバックプロパゲーション可能にする。
• KKT条件と行列微積分を用いて、IPMレイヤーの重み、入力特徴量、制約条件に関する閉形式の勾配を導出する。
• PyTorchを用いて、GPUアクセceleratedバッチ処理と特異行列の疑似逆行列処理を備えたIPMレイヤーを実装する。
• IPMレイヤーを深層学習パイプラインに統合し、U-Netと最適化部の両方を完全なバックプロパゲーションにより同時に学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層学習と凸最適化を効果的に統合することで、医療画像における複数の相互作用する表面のグローバル最適セグメンテーションを達成できるか？
• RQ2 グラフベースのセグメンテーションモデルにおける表面コスト関数を、深層ニューラルネットワークを用いてエンドツーエンドでパラメータ化し、学習可能か？
• RQ3 IPMのような微分可能最適化レイヤーは、弱い境界線が存在する状況下で、マルチ表面セグメンテーションのロバスト性と精度をどの程度向上できるか？
• RQ4 提案手法は、SD-OCTおよびIVUSのような異なる医療画像モodalitiesに一般化可能か？
• RQ5 制約を介した表面相互作用の明示的モデリングは、独立した表面検出と比較して、セグメンテーション性能をどの程度向上させるか？

主な発見

• 提案手法は、SD-OCT画像における網膜層セグメンテーションで最先端の性能を達成し、ベースラインのU-NetおよびFCNベースのモデルを著しく上回った。
• IVUS画像における血管壁のセグメンテーションにおいても、コントラストが低く境界線が不明瞭な領域でもロバストに性能を発揮した。
• IPMレイヤーの統合により、安定した収束を伴うエンドツーエンド学習が可能となり、1回のフォワードパスあたり最大7回のIPM反復で十分であった。
• 定量的評価では、最適化されておらず、相互作用を考慮しないベースラインと比較して、Diceスコアが向上し、境界誤差が低減した。
• アブレーションスタディにより、表面相互作用のモデリングが、曖昧または低コントラスト領域において特に顕著にセグメンテーション精度を向上させたことが確認された。
• すべてのコードとデータが[26]でオープンソースとして公開されたため、微分可能最適化を用いた医療画像セグメンテーション分野における再現性とさらなる研究が促進される。