[논문 리뷰] Hybrid graph convolutional neural networks for landmark-based anatomical segmentation

Nicolás Gaggion, Lucas Mansilla외 2명|arXiv (Cornell University)|2021. 06. 17.

Medical Imaging and Analysis참고 문헌 39인용 수 8

한 줄 요약

이 논문은 흉부 X-ray 영상에서 해부학적으로 타당한 랜드마크 기반 세분화를 생성하기 위해 표준 컨볼루션과 그래프 컨volutional 네트워크(GCNs)를 조합한 하이브리드 인코더-디코더 신경망인 HybridGNet을 제안한다. 사전 정의된 인접 행렬을 기반으로 스펙트럴 그래프 컨볼루션을 통해 위상적 제약 조건을 인코딩함으로써 HybridGNet은 영상의 가림 현상에 대해 뛰어난 내성과 정확도 및 해부학적 타당성에서 표준 픽셀 수준의 세분화 모델과 전통적인 랜드마크 기반 방법을 모두 능가한다.

ABSTRACT

In this work we address the problem of landmark-based segmentation for anatomical structures. We propose HybridGNet, an encoder-decoder neural architecture which combines standard convolutions for image feature encoding, with graph convolutional neural networks to decode plausible representations of anatomical structures. We benchmark the proposed architecture considering other standard landmark and pixel-based models for anatomical segmentation in chest x-ray images, and found that HybridGNet is more robust to image occlusions. We also show that it can be used to construct landmark-based segmentations from pixel level annotations. Our experimental results suggest that HybridGNet produces accurate and anatomically plausible landmark-based segmentations, by naturally incorporating shape constraints within the decoding process via spectral convolutions.

연구 동기 및 목표

• 이미지 수준의 특징과 위상적 구조를 통합하여 더 정확하고 해부학적으로 타당한 해부학적 구조의 세분화를 위한 딥 러닝 아키텍처를 개발하는 것.
• 표준 픽셀 수준의 세분화 모델의 한계를 해결하는 것 — 특히 영상 가림 상황에서 랜드마크 애너테이션 부족과 위상 일관성 결여 문제.
• 밀도 높은 세분화 마스크에서 일관된 랜드마크 대응 관계를 복원함으로써 통계적 형태 모델을 구축할 수 있도록 하는 것.
• 임상 영상에서 흔한 인위적 가림과 같은 실제적인 영상 열화 조건 하에서 제안된 방법의 내성 평가

제안 방법

• HybridGNet은 2D 흉부 X-ray 영상에서 계층적인 이미지 특징을 추출하기 위해 표준 컨볼루션 인코더를 사용한다.
• 디코더는 사전 정의된 그래프 구조에서 랜드마크 좌표를 예측하기 위해 스펙트럴 그래프 컨볼루션 네트워크(GCNs)를 활용한다. 여기서 노드는 랜드마크를 나타내고, 엣지는 인접 행렬을 통해 해부학적 연결성을 표현한다.
• 그래프 표현은 랜드마크 위치의 평균 제곱오차(MSE)와 윤곽형태의 하우스도르프 거리(HD)를 조합한 손실 함수를 최소화함으로써 엔드 투 엔드로 학습된다.
• 이중 경로 변종은 밀도 높은 세분화 마스크 재구성과 랜드마크 기반 그래프 표현 예측을 동시에 학습하는 방식으로 도입된다.
• 그래프 인접 행렬은 모든 영상에서 동일하게 유지되며, 폐, 심장, 경추 등 일관된 해부학적 연결 패턴에 기반한다.
• 이 방법은 전문가가 애너테이션을 한 247장의 고해상도 X-ray 영상로 구성된 JSRT 데이터베이스에서 훈련 및 평가되었다.

실험 결과

연구 질문

• RQ1 CNN과 GCN을 융합한 하이브리드 아키텍처가 표준 픽셀 수준의 모델에 비해 랜드마크 기반 세분화 정확도를 향상시킬 수 있는가?
• RQ2 사전 정의된 그래프 인접 행렬을 통한 명시적 위상 제약 조건이 해부학적 타당성과 영상 가림에 대한 내성 향상에 기여하는가?
• RQ3 쌍체 랜드마크 애너테이션 없이도 HybridGNet이 밀도 높은 세분화 마스크에서 효과적으로 랜드마크 기반 표현을 복원할 수 있는가?
• RQ4 이식된 이미지의 가림 정도가 증가함에 따라 HybridGNet의 성능은 어떻게 저하되며, 표준 UNet 기반 모델과 비교해 볼 때 어떤가?

주요 결과

• HybridGNet은 JSRT 데이터셋에서 랜드마크 위치 예측에 대해 평균 제곱오차(MSE)와 하우스도르프 거리(HD) 지표에서 기준 모델을 뚜렷이 능가했으며, 유의미한 개선(유의수준 p < 0.05)을 보였다.
• 인위적 가림에 대한 내성에서 뛰어난 성능을 보였다: 가림 블록 크기가 증가함에 따라 HybridGNet은 표준 UNet 기준 모델 대비 더 높은 Dice 점수와 HD 성능을 유지했다.
• 밀도 높은 마스크와 랜드마크를 동시에 예측하는 이중 경로 변종은 단일 경로 그래프 디코더보다 추가 성능 향상을 얻지 못했으며, 이는 그래프 기반 디코딩 자체가 충분하고 효과적임을 시사한다.
• HybridGNet은 밀도 높은 세분화 마스크에서 정확한 랜드마크 윤곽을 성공적으로 복원했으며, 세 가지 기준 모델보다 정량적 지표에서 뛰어난 성능을 보여 통계적 형태 모델링에의 유용성을 확인했다.
• 정성적 결과에서는 특히 불규칙한 형태와 낮은 대비로 인해 도전적인 클라비클(경추)와 같은 복잡한 구조에서 더 해부학적으로 타당한 세분화 결과를 도출했다.
• 스펙트럴 그래프 컨볼루션의 사용은 위상 일관성을 자연스럽게 강제함으로써, 이러한 제약 조건이 없는 모델 대비 더 부드럽고 생물학적으로 타당한 윤곽을 생성하는 데 기여했다.