[논문 리뷰] PhysGNN: A Physics-Driven Graph Neural Network Based Model for Predicting Soft Tissue Deformation in Image-Guided Neurosurgery

Yasmin Salehi, Dennis D. Giannacopoulos|arXiv (Cornell University)|2021. 09. 09.

Medical Imaging and Analysis인용 수 15

한 줄 요약

이 논문은 유한요소 메esh 구조를 활용하여 신경외과 수술에서 연조직 변형을 높은 정확도와 빠른 속도로 예측하는 물리 기반 그래프 신경망인 PhysGNN을 제안한다. 조직을 노드 간 연결성과 거리로 모델링함으로써 PhysGNN은 기존의 데이터 기반 방법들을 능가하며 실제 뇌 이완 데이터에서 테스트 평균 유클리드 오차 0.2058 mm를 기록하여 실시간 수술 내 사용에 대한 강력한 계산 가능성을 입증한다.

ABSTRACT

Correctly capturing intraoperative brain shift in image-guided neurosurgical procedures is a critical task for aligning preoperative data with intraoperative geometry for ensuring accurate surgical navigation. While the finite element method (FEM) is a proven technique to effectively approximate soft tissue deformation through biomechanical formulations, their degree of success boils down to a trade-off between accuracy and speed. To circumvent this problem, the most recent works in this domain have proposed leveraging data-driven models obtained by training various machine learning algorithms -- e.g., random forests, artificial neural networks (ANNs) -- with the results of finite element analysis (FEA) to speed up tissue deformation approximations by prediction. These methods, however, do not account for the structure of the finite element (FE) mesh during training that provides information on node connectivities as well as the distance between them, which can aid with approximating tissue deformation based on the proximity of force load points with the rest of the mesh nodes. Therefore, this work proposes a novel framework, PhysGNN, a data-driven model that approximates the solution of the FEM by leveraging graph neural networks (GNNs), which are capable of accounting for the mesh structural information and inductive learning over unstructured grids and complex topological structures. Empirically, we demonstrate that the proposed architecture, PhysGNN, promises accurate and fast soft tissue deformation approximations, and is competitive with the state-of-the-art (SOTA) algorithms while promising enhanced computational feasibility, therefore suitable for neurosurgical settings.

연구 동기 및 목표

• 신경외과 적용을 위한 유한요소법(FEM) 기반 연조직 변형 예측에서 정확도와 속도 사이의 상충 관계를 해결하기 위해.
• 노드 연결성과 공간적 근접도와 같은 비정형 유한요소(FE) 메쉬의 구조적 정보를 데이터 기반 모델에 통합하여 성능을 향상시키기 위해.
• 이미지 유도 신경외과 수술의 실시간 수술 내 사용에 적합한 계산 효율적이고 일반화 가능한 프레임워크를 개발하기 위해.
• 그래프 신경망이 FEA 시뮬레이션에서 생체역학적 조직 변형 패턴을 효과적으로 학습할 수 있으며, 위상적 및 기하학적 관계를 유지할 수 있음을 입증하기 위해.

제안 방법

• PhysGNN는 그래프 컨벌루션과 그래프SAGE 레이어를 조합한 하이브리드 아키텍처를 사용하여 FE 메쉬 데이터를 그래프로 처리하며, 노드는 메쉬 정점, 엣지는 연결성을 나타낸다.
• 메시지 전파의 능력을 향상시키기 위해 엣지 기능은 역노드 거리로 정의되어 가중치를 부여한다.
• 모델은 FEA 시뮬레이션된 이동장 데이터를 엔드 투 엔드로 훈련하며, 최적화 목표로 평균 유클리드 손실을 사용한다.
• 메시지 전파 및 노드 표현 학습 최적화를 위해 최대값과 덧셈을 포함한 집계 함수를 체계적으로 평가한다.
• 다양한 수술 시나리오에 대한 일반화 능력을 평가하기 위해 힘 적용 패턴이 다른 두 데이터셋에서 프레임워크를 훈련한다.
• 성능과 과도한 평균화 방지 사이의 균형을 맞추기 위해 레이어 깊이, 집계 함수 조합, 하이브리드 레이어 구성 등 하이퍼파rameter 튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 유한요소 메쉬의 위상적 구조를 활용하여 그래프 신경망이 연조직 변형을 효과적으로 모델링할 수 있는가?
• RQ2 노드 간 거리를 엣지 가중치에 통합할 경우 변형 모델링의 정확도에 어떤 영향을 미치는가?
• RQ3 PhysGNN는 최신 데이터 기반 모델들과 경쟁 가능한 성능을 달성하면서도 뛰어난 계산 효율성을 유지하는가?
• RQ4 단일 노드 및 다중 노드 하중 조건과 같은 다양한 힘 적용 패턴에 대해 PhysGNN의 내성은 얼마나 우수한가?

주요 결과

• PhysGNN는 Dataset 2에서 테스트 평균 유클리드 오차 0.2058 mm를 기록하여 크라니토미에 의한 뇌 이완 예측에서 높은 정확도를 입증했다.
• 3개의 GraphConv 및 3개의 GraphSAGE 레이어를 사용하고 덧셈 집계를 적용한 모델이 Dataset 2에서 최고 성능을 보였으며, 이는 다중 힘 하중 시나리오의 처리 능력 향상을 시사한다.
• 3개 레이어를 초과해 GraphSAGE를 GraphConv 레이어로 대체할 경우 과도한 평균화 현상이 발생하여 아키텍처 깊이의 균형이 중요함을 입증한다.
• 엣지 가중치에 역노드 거리 사용이 다중 힘 데이터셋에서 성능 향상에 크게 기여하여 변형 모델링에서 공간적 근접도의 중요성을 확인한다.
• Dataset 1에서의 검증 오차 0.2114 mm로 최고 성능 설정 대비 약간 높은 오차를 기록했지만, 모델은 다양한 데이터셋에 대해 뛰어난 내성과 안정성을 보였다.
• 다양한 집계 함수 조합에 대해 성능이 안정적이었으며, 특히 다중 힘 시나리오에서는 덧셈 집계가 최대값 집계보다 우수한 성능을 보였다.