[論文レビュー] Graph Attention Network based Pruning for Reconstructing 3D Liver Vessel Morphology from Contrasted CT Images

Donghao Zhang, Siqi Liu+6 more|arXiv (Cornell University)|Mar 18, 2020

Medical Image Segmentation Techniques参考文献 27被引用数 8

ひとこと要約

本稿では、多段階対比的CT画像からの3次元肝臓血管形態再構築を改善するため、グラフ自己注意ネットワーク（GAT）に基づくプルーニングフレームワークを提案する。まず、3次元完全畳み込みネットワークを用いて血管中心線ヒートマップを生成し、その後画像処理ベースのトレースアルゴリズムを適用して初期の過剰再構築血管グラフを構築する。その後、CNN特徴埋め込みを用いて誤検出枝をプルーニングするGATを適用し、精度を向上させる。ベースラインと比較してF1スコアで6.4%の相対的向上を達成し、最先端の性能を示した。

ABSTRACT

With the injection of contrast material into blood vessels, multi-phase contrasted CT images can enhance the visibility of vessel networks in the human body. Reconstructing the 3D geometric morphology of liver vessels from the contrasted CT images can enable multiple liver preoperative surgical planning applications. Automatic reconstruction of liver vessel morphology remains a challenging problem due to the morphological complexity of liver vessels and the inconsistent vessel intensities among different multi-phase contrasted CT images. On the other side, high integrity is required for the 3D reconstruction to avoid decision making biases. In this paper, we propose a framework for liver vessel morphology reconstruction using both a fully convolutional neural network and a graph attention network. A fully convolutional neural network is first trained to produce the liver vessel centerline heatmap. An over-reconstructed liver vessel graph model is then traced based on the heatmap using an image processing based algorithm. We use a graph attention network to prune the false-positive branches by predicting the presence probability of each segmented branch in the initial reconstruction using the aggregated CNN features. We evaluated the proposed framework on an in-house dataset consisting of 418 multi-phase abdomen CT images with contrast. The proposed graph network pruning improves the overall reconstruction F1 score by 6.4% over the baseline. It also outperformed the other state-of-the-art curvilinear structure reconstruction algorithms.

研究の動機と目的

• 多段階対比的CT画像からの正確な3次元肝臓血管形態再構築の課題に取り組むこと。これは術前手術計画において極めて重要である。
• 既存手法の限界、すなわち高い誤検出枝レートと、形態的多様性および不均一な血管強度による一般化性の低さを克服すること。
• 血管グラフにおける誤検出枝に起因する意思決定バイアスを低減することで、再構築の整合性を向上させること。
• 深層学習ベースの血管セグメンテーションとグラフニューラルネットワークを統合し、トポロジカルな接続性をモデル化し、プルーニング精度を向上させること。
• 冠動脈や気道血管トレースなどの他の3次元線形構造再構築タスクに適応可能な汎用フレームワークを開発すること。

提案手法

• 多段階対比的CT画像から血管中心線ヒートマップを生成するために、3次元完全畳み込みニューラルネットワークを訓練し、手動でトレースされた正例中心線を教師として用いる。
• 初期の血管グラフは、ヒートマップ上でRivulet2アルゴリズムを用いて構築され、高い感度ではあるが、低い特異度のため過剰再構築が生じる。
• 初期グラフは、各ノードが部分枝に対応する二重グラフ表現に変換され、ノード特徴は対応する部分枝のCNN特徴の集約から得られる。
• グラフ自己注意ネットワーク（GAT）を用いて各部分枝の存在確率を予測し、注目メカニズムにより関連する構造的および特徴的手がかりに焦点を当てる。
• GATは各ノード（部分枝）の信頼度スコアを出力し、低信頼度の誤検出枝をフィルタリングしながら、真の血管構造を保持する。
• 最終的なプルーニング済みグラフは、F1スコア、対称平均距離（SD）、部分構造Dice（SSD）といった標準指標を用いて評価され、ベースラインおよび最先端手法と比較される。

実験結果

リサーチクエスチョン

• RQ1 グラフ自己注意ネットワークは、再帰的再構築の再現率を損なわず、誤検出枝を効果的に低減できるか？
• RQ2 GNNの精 refinement を施したGATベースのプルーニングは、GNNを用いないベースラインのグラフトレースと比較して、F1スコアをどのように向上させるか？
• RQ3 CNNベースの特徴埋め込みとGATを統合することで、再構築血管ツリーのトポロジカル整合性はどの程度向上するか？
• RQ4 提案フレームワークは、冠動脈や気道血管トレースなどの他の線形構造再構築タスクにも一般化可能か？
• RQ5 異なる部分枝のサンプリング長さが、最終的な再構築品質および耐性に与える影響は何か？

主な発見

• 提案手法は、ベースラインのRivulet2手法（0.8124 ± 0.0514）と比較して、F1スコアで6.4%の相対的向上（0.8762 ± 0.0549）を達成し、GATプルーニングによる顕著な性能向上を示した。
• 比較されたすべての最先端手法（MOST: 0.6984、NeuTube: 0.4158、APP2: 0.2921、Smart Tracing: 0.7521、Snake: 0.7738、TreMap: 0.3422）の中で、F1スコアが最高を記録した。
• 再現率（0.8354 ± 0.0849）を維持したまま、精度を著しく向上（0.9280 ± 0.0497）させ、誤検出の効果的低減を示した。
• 対称平均距離（SD: 2.46 ± 0.668 mm）とpSSD（0.136 ± 0.0433）が最低となり、血管位置の空間的正確性が優れていた。
• 部分枝のサンプリング長が異なる条件下でも、フレームワークは頑健であった。特に5mmのサンプリング長で最良の性能を示し、F1スコアが最高（0.876 ± 0.055）を記録した。
• アブレーションスタディにより、GATプルーニングが再構築品質を顕著に向上させることを確認した。完全なフレームワークは、GNNの精 refinement を施さないベースラインと比較して、F1スコアで6.38%の向上を達成した。