[論文レビュー] Hybrid graph convolutional neural networks for landmark-based anatomical segmentation

Nicolás Gaggion, Lucas Mansilla+2 more|arXiv (Cornell University)|Jun 17, 2021

Medical Imaging and Analysis参考文献 39被引用数 8

ひとこと要約

本稿では、胸部レントゲン画像から解剖学的に妥当なランドマークベースのセグメンテーションを生成するために、画像特徴抽出に標準的な畳み込みを組み合わせ、グラフ畳み込みネットワーク（GCNs）を統合したハイブリッドエンコーダデコーダーであるHybridGNetを提案する。事前に定義された隣接行列を用いたスペクトルグラフ畳み込みにより、トポロジー制約を符号化することで、画像の遮蔽に対して優れたロバスト性を示し、標準的なピクセルレベルのセグメンテーションモデルおよび従来のランドマークベース手法よりも、精度および解剖学的妥当性の面で優れている。

ABSTRACT

In this work we address the problem of landmark-based segmentation for anatomical structures. We propose HybridGNet, an encoder-decoder neural architecture which combines standard convolutions for image feature encoding, with graph convolutional neural networks to decode plausible representations of anatomical structures. We benchmark the proposed architecture considering other standard landmark and pixel-based models for anatomical segmentation in chest x-ray images, and found that HybridGNet is more robust to image occlusions. We also show that it can be used to construct landmark-based segmentations from pixel level annotations. Our experimental results suggest that HybridGNet produces accurate and anatomically plausible landmark-based segmentations, by naturally incorporating shape constraints within the decoding process via spectral convolutions.

研究の動機と目的

• 画像レベルの特徴とトポロジー構造を統合することで、より正確で解剖学的に妥当な解剖的構造のセグメンテーションを実現する深層学習アーキテクチャの開発。
• 標準的なピクセルレベルのセグメンテーションモデルに欠けるランドマークアノテーションおよびトポロジカル整合性の欠如、特に画像の遮蔽下での限界を是正すること。
• 一貫したランドマーク対応を回復させることで、密なセグメンテーションマスクから統計的形状モデルを構築することを可能にすること。
• 臨床的画像で一般的な人工的遮蔽を含む現実的な画像劣化条件下での、提案手法のロバスト性を評価すること。

提案手法

• HybridGNetは、2次元の胸部レントゲン画像から階層的画像特徴を抽出するために、標準的な畳み込みエンコーダーを用いる。
• デコーダーは、ノードがランドマークを表し、エッジが隣接行列によって符号化された解剖学的接続性を示す事前に定義されたグラフ構造上でランドマーク座標を予測するためにスペクトルグラフ畳み込みネットワーク（GCNs）を採用する。
• グラフ表現は、ランドマーク位置の平均二乗誤差（MSE）と輪郭形状のハウスドルフ距離（HD）を組み合わせた損失関数を最小化することで、エンドツーエンドで学習される。
• デュアルパスバージョンが導入され、密なセグメンテーションマスクの再構築とランドマークベースのグラフ表現の両方を同時に学習する。
• グラフ隣接行列は固定であり、すべての画像で共有され、肺、心臓、鎖骨などの一貫した解剖学的接続パターンに基づく。
• 本手法は、専門家がアノテートしたランドマークを有する247枚の高解像度X線画像を用いて、JSRTデータベース上で訓練および評価された。

実験結果

リサーチクエスチョン

• RQ1 CNNとGCNを統合したハイブリッドアーキテクチャは、標準的なピクセルレベルのモデルと比較して、ランドマークベースのセグメンテーション精度を向上させることができるか？
• RQ2 事前に定義されたグラフ隣接行列による明示的なトポロジカル制約の組み込みは、解剖学的妥当性および画像遮蔽に対するロバスト性を向上させるか？
• RQ3 ペアドランドマークアノテーションが存在しない状況でも、HybridGNetは密なセグメンテーションマスクから効果的にランドマークベースの表現を回復できるか？
• RQ4 画像遮蔽の程度が増加する条件下で、HybridGNetの性能はどのように低下するか？また、標準的なUNetベースのモデルと比較してどうなるか？

主な発見

• HybridGNetは、JSRTデータセット上で、ランドマーク局在の平均二乗誤差（MSE）およびハウスドルフ距離（HD）の両指標において、ベースラインモデルを顕著に上回った。有意差検定（p < 0.05）により統計的に有意な改善が得られた。
• 人工的遮蔽に対して優れたロバスト性を示した。遮蔽ブロックサイズが増加するにつれて、HybridGNetは標準的なUNetベースラインと比較して、より高いDiceスコアおよびHD性能を維持した。
• デュアルパスバージョン（密なマスクとランドマークの両方を同時に予測）は、単一パスのグラフデコーダーと比較して追加の性能向上を示さなかった。これは、グラフベースのデコーディング自体が十分に効果的であることを示唆している。
• HybridGNetは、ペアドランドマークアノテーションが存在しない密なセグメンテーションマスクからも、正確なランドマーク輪郭を再構築でき、3つのベースライン手法を定量的指標で上回った。これは、統計的形状モデリングへの応用における有効性を確認するものである。
• 定性的な結果では、特に形状が不規則でコントラストが低い鎖骨のような複雑な構造においても、HybridGNetがより解剖学的に妥当なセグメンテーションを生成した。
• スペクトルグラフ畳み込みの使用により、モデルは自然にトポロジカル整合性を強制でき、制約のないモデルと比較して滑らかで生物学的に妥当な輪郭が得られた。