[論文レビュー] PhysGNN: A Physics-Driven Graph Neural Network Based Model for Predicting Soft Tissue Deformation in Image-Guided Neurosurgery

Yasmin Salehi, Dennis D. Giannacopoulos|arXiv (Cornell University)|Sep 9, 2021

Medical Imaging and Analysis被引用数 15

ひとこと要約

本稿では、有限要素メッシュ構造を活用して神経外科学研究における軟組織変形を高精度かつ高速に予測する物理駆動型グラフニューラルネットワーク、PhysGNNを提案する。組織をノードの接続関係と距離を有するグラフとしてモデル化することで、PhysGNNは従来のデータ駆動型手法を上回り、実際の脳移動データにおいてテスト平均ユークリッド誤差0.2058 mmを達成し、術中応用における強力な計算可能性を示している。

ABSTRACT

Correctly capturing intraoperative brain shift in image-guided neurosurgical procedures is a critical task for aligning preoperative data with intraoperative geometry for ensuring accurate surgical navigation. While the finite element method (FEM) is a proven technique to effectively approximate soft tissue deformation through biomechanical formulations, their degree of success boils down to a trade-off between accuracy and speed. To circumvent this problem, the most recent works in this domain have proposed leveraging data-driven models obtained by training various machine learning algorithms -- e.g., random forests, artificial neural networks (ANNs) -- with the results of finite element analysis (FEA) to speed up tissue deformation approximations by prediction. These methods, however, do not account for the structure of the finite element (FE) mesh during training that provides information on node connectivities as well as the distance between them, which can aid with approximating tissue deformation based on the proximity of force load points with the rest of the mesh nodes. Therefore, this work proposes a novel framework, PhysGNN, a data-driven model that approximates the solution of the FEM by leveraging graph neural networks (GNNs), which are capable of accounting for the mesh structural information and inductive learning over unstructured grids and complex topological structures. Empirically, we demonstrate that the proposed architecture, PhysGNN, promises accurate and fast soft tissue deformation approximations, and is competitive with the state-of-the-art (SOTA) algorithms while promising enhanced computational feasibility, therefore suitable for neurosurgical settings.

研究の動機と目的

• 神経外科学的応用における有限要素法（FEM）に基づく軟組織変形予測における精度と速度のトレードオフを解消すること。
• ノードの接続関係や空間的近接性といった、非構造的有限要素（FE）メッシュからの構造的情報を統合することで、データ駆動型モデルの性能を向上させること。
• 画像誘導神経外科学における術中リアルタイム利用に適した、計算的に効率的で一般化可能なフレームワークを開発すること。
• グラフニューラルネットワークが、メッシュのトポロジー的および幾何的関係を保持したまま、FEAシミュレーションから生じる生物学的力学的変形パターンを効果的に学習できることを実証すること。

提案手法

• PhysGNNは、グラフConvとGraphSAGE層を組み合わせたハイブリッドアーキテクチャを用い、ノードをメッシュ頂点、エッジを接続関係として扱うグラフとしてFEメッシュデータを処理する。
• エッジ特徴量はノード間距離の逆数を用いて定義され、メッセージパッシングの重み付けがなされ、局所的力の伝播を捉える能力が向上する。
• モデルは、平均ユークリッド損失を最適化目的関数として用い、FEAシミュレートされた変位場上でエンドツーエンドで訓練される。
• メッセージパッシングとノード表現学習の最適化を図るため、集約関数（最大値および加算）を体系的に評価する。
• 異なる手術シナリオにわたる一般化性を評価するため、力の作用パターンが異なる2つのデータセットでフレームワークを訓練する。
• ハイパーパrameterチューニングには、層の深さ、集約関数の組み合わせ、ハイブリッド層構成を含め、性能と過剰平滑化のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 有限要素メッシュのトポロジー的構造を活用することで、グラフニューラルネットワークが軟組織変形を効果的にモデル化できるか？
• RQ2 エッジ重みにノード間距離を組み込むことで、変形モデリングにおける予測精度にどのような影響を与えるか？
• RQ3 PhysGNNは、最先端のデータ駆動型モデルと同等の性能を達成するとともに、優れた計算効率を維持できるか？
• RQ4 単一ノード負荷と複数ノード負荷の異なる力の作用パターンに対して、PhysGNNの耐性はどの程度か？

主な発見

• PhysGNNは、データセット2においてテスト平均ユークリッド誤差0.2058 mmを達成し、Craniotomy誘発脳移動の予測において高い精度を示した。
• 3層のGraphConvと3層のGraphSAGE層を用い、加算集約を採用したモデルが、データセット2で最良の性能を示した。これは、複数力の作用シナリオをより効果的に処理できることを示している。
• 3層を超えてGraphSAGEをGraphConv層に置き換えると過剰平滑化が生じた。これは、アーキテクチャの深さのバランスが重要であることを示している。
• エッジ重みにノード間距離の逆数を用いることで、複数力データセットでの性能が顕著に向上した。これは、変形モデリングにおいて空間的近接性の重要性を確認するものである。
• PhysGNNはデータセット間で高いロバスト性を示し、最良の設定と比較してわずかに高い誤差（データセット1の検証誤差0.2114 mm）を示した。
• さまざまな集約関数の組み合わせに対して、モデルの性能は安定しており、加算集約が複数力シナリオで最大値を記録した。