[논문 리뷰] EchoGNN: Explainable Ejection Fraction Estimation with Graph Neural Networks

Masoud Mokhtari, Teresa S.M. Tsang외 2명|arXiv (Cornell University)|2022. 08. 30.

Cardiac Imaging and Diagnostics인용 수 4

한 줄 요약

EchoGNN는 초음파 심장도 영상 프레임 간 잠재적 그래프 구조를 학습하여 심출력(예지율, EF)을 추정하는 그래프 신경망(GNN) 기반 모델이다. 이는 학습된 프레임 및 간선 가중치를 통해 예측의 해석 가능성을 제공하며, 지나친 매개변수 수와 함께 최신 기술 수준의 EF 예측 성능을 달성한다. 또한 실제 심축기/심이완기(ES/ED) 프레임 레이블이 필요 없이도 해석 가능성을 확보한다.

ABSTRACT

Ejection fraction (EF) is a key indicator of cardiac function, allowing identification of patients prone to heart dysfunctions such as heart failure. EF is estimated from cardiac ultrasound videos known as echocardiograms (echo) by manually tracing the left ventricle and estimating its volume on certain frames. These estimations exhibit high inter-observer variability due to the manual process and varying video quality. Such sources of inaccuracy and the need for rapid assessment necessitate reliable and explainable machine learning techniques. In this work, we introduce EchoGNN, a model based on graph neural networks (GNNs) to estimate EF from echo videos. Our model first infers a latent echo-graph from the frames of one or multiple echo cine series. It then estimates weights over nodes and edges of this graph, indicating the importance of individual frames that aid EF estimation. A GNN regressor uses this weighted graph to predict EF. We show, qualitatively and quantitatively, that the learned graph weights provide explainability through identification of critical frames for EF estimation, which can be used to determine when human intervention is required. On EchoNet-Dynamic public EF dataset, EchoGNN achieves EF prediction performance that is on par with state of the art and provides explainability, which is crucial given the high inter-observer variability inherent in this task.

연구 동기 및 목표

• 초음파 심장도에서 수작업으로 측정한 심출력(EF)의 높은 관찰자 간 변동성을 해결하기 위해 신뢰성 있고 해석 가능한 기계 학습 모델을 개발한다.
• 특히 경험이 적은 사용자가 활용하는 포인트오브케어 초음파(POCUS) 환경에서 임상 의사결정 지원이 가능한 자동화된 EF 추정을 가능하게 한다.
• EF 예측에 기여하는 핵심 프레임 및 간선을 식별함으로써 모델의 해석 가능성을 제공하여 전문가 개입에 대한 의존도를 낮춘다.
• ES/ED 프레임 레이블의 직접적 지도 학습 없이 모델을 훈련시켜 임상 레이블의 노이즈에 대한 강건성을 향상시킨다.
• 모델 복잡도와 메모리 요구량을 줄여 모바일 임상 기기에서의 구현에 적합하게 한다.

제안 방법

• 모델는 하나 이상의 초음파 심장도 시리즈 영상 프레임에서 잠재적 에코그래프를 구성하여, 프레임 간 시간적 관계를 표현한다.
• GNN 기반의 어텐션 메커니즘을 통해 노드 및 간선 가중치를 학습하여, EF 추정에 있어 개별 프레임과 프레임 간 전이의 중요도를 나타낸다.
• 가중치가 부여된 그래프를 사용하는 GNN 회귀기로 EF를 예측하며, 모델은 EF 레이블과 약한 지도 학습만을 사용해 훈련된다.
• 직접적인 ES/ED 프레임 위치 지도 없이 EF 레이블과 부족한 EF 그룹을 위한 분류 헤드에 기반한 약한 지도 학습 파이프라인을 활용한다.
• 데이터 증강 및 사전학습을 통해 일반화 능력을 향상시키고, 저심출력 케이스에서의 오차를 줄인다.
• 최종 예측은 가중치가 부여된 그래프를 통해 특징을 집계하는 GNN을 통해 이루어지며, 정확한 EF 추정과 함께 해석 가능성을 동시에 확보한다.

실험 결과

연구 질문

• RQ1 그래프 신경망이 초음파 심장도 영상 데이터에 효과적으로 적용되어 심출력을 추정하는 데에 적합한가?
• RQ2 EchoGNN에서 학습된 그래프 구조가 EF 추정에 가장 기여하는 핵심 프레임을 의미 있는 방식으로 해석 가능한 통찰을 제공하는가?
• RQ3 실제 ES/ED 프레임 레이블이 필요 없이도 모델이 경쟁력 있는 EF 예측 성능을 달성하는가?
• RQ4 기존 최신 기술 수준의 모델보다 훨씬 적은 파라미터로도 높은 정확도를 유지할 수 있는가?
• RQ5 모델의 해석 가능성 메커니즘이 저심출력 상황에서 특히 인간의 검토가 필요한 케이스를 식별하는 데 도움이 되는가?

주요 결과

• EchoGNN는 EchoNet-Dynamic 데이터셋에서 MAE 4.45를 기록하여 [21]의 트랜스포머 기반 모델을 능가하고, [12]와 동등한 성능을 달성하면서도 오직 170만 개의 파라미터만을 사용한다.
• R² 점수는 0.76로 강력한 분산 설명 능력을 보이며, EF < 40%를 식별하는 데 F₁ 점수는 0.78을 기록한다. 이는 임상적으로 중요한 기준이다.
• EchoGNN는 모든 32프레임 클립을 샘플링하는 EchoNet(AF)보다 EF 추정 성능에서 뚜렷한 우월성을 보이며, 높은 메모리 요구량으로 인해 본 연구에서는 학습 및 평가가 불가능한 수준이다.
• 추론 실험 결과, 데이터 증강, 분류 손실, 사전학습의 조합이 MAE를 4.45로 낮추고 F₁ 점수를 0.78으로 향상시킴을 확인하였다.
• 학습된 그래프 가중치를 통한 해석 가능성은 핵심 프레임과 간선을 성공적으로 식별하며, 시각화 결과 심장의 좌심실 경계 변화가 뚜렷한 프레임에서 높은 가중치가 부여되고, 모호하거나 품질이 낮은 프레임에서는 낮은 가중치가 부여됨을 보여준다.
• 모델의 낮은 파라미터 수(170만)는 모바일 및 엣지 기기에서 임상 환경에 쉽게 구현 가능한 데에 매우 적합하다.