[논문 리뷰] Multi-task Graph Convolutional Neural Network for Calcification Morphology and Distribution Analysis in Mammograms

Hao Du, Melissa Min-Szu Yao외 3명|arXiv (Cornell University)|2021. 05. 14.

AI in cancer detection참고 문헌 35인용 수 6

한 줄 요약

이 논문은 유방 조영검사에서 미세칼슘화의 형태와 분포를 각각 노드 분류 및 그래프 분류 과제로 모델링하는 다중 과제 그래프 컬러션 신경망(GCN)을 제안한다. 계산화를 공간 그래프로 변환하고 다중 과제 학습을 통해 공유 표현을 활용함으로써, 단일 과제 및 기준 모델에 비해 일반화 능력과 임상 해석 가능성에서 뚜렷한 향상을 이룩하였다.

ABSTRACT

The morphology and distribution of microcalcifications in a cluster are the most important characteristics for radiologists to diagnose breast cancer. However, it is time-consuming and difficult for radiologists to identify these characteristics, and there also lacks of effective solutions for automatic characterization. In this study, we proposed a multi-task deep graph convolutional network (GCN) method for the automatic characterization of morphology and distribution of microcalcifications in mammograms. Our proposed method transforms morphology and distribution characterization into node and graph classification problem and learns the representations concurrently. Through extensive experiments, we demonstrate significant improvements with the proposed multi-task GCN comparing to the baselines. Moreover, the achieved improvements can be related to and enhance clinical understandings. We explore, for the first time, the application of GCNs in microcalcification characterization that suggests the potential of graph learning for more robust understanding of medical images.

연구 동기 및 목표

• ACR BI-RADS에서 요구하는 바와 같이, 유방 조영검사에서 미세칼슘화의 형태와 분포를 특성화하는 자동화된 방법의 부족을 보완하기 위해.
• 그래프 표현을 통해 미세칼슘화 간의 공간 관계를 모델링하여 국소적이고 전반적인 구조적 패턴을 포착하기 위해.
• 다중 과제 학습을 통해 형태(노드 수준)와 분포(그래프 수준) 특징을 동시에 학습함으로써 분류 성능을 향상시키기 위해.
• 계산화 특징의 구조적 표현을 통해 방사선 전문의의 추론 과정을 모방함으로써 임상 해석 가능성을 향상시키기 위해.
• 그래프 신경망이 유방암 진단의 더 견고하고 설명 가능한 방법을 제공할 잠재력을 탐색하기 위해.

제안 방법

• 유방 조영검사에서 검출된 미세칼슘화를 그래프 구조로 변환하며, 각 계산화를 노드로 간주하고, 공간적 근접도(예: KNN 또는 반경 기반 기준)를 사용해 간선을 정의한다.
• 각 계산화에서 국소 패치 특징을 추출하기 위해 컨volutional 신경망(CNN)을 사용하여 노드 표현을 확보한다.
• 심층 그래프 컬러션 네트워크(GCN)를 적용하여 이웃 노드 간의 특징을 집계함으로써 위상적 및 기하학적 관계를 포착한다.
• GCN가 동시에 노드 분류(형태)와 그래프 분류(분포)를 수행하도록 다중 과제 학습 프레임워크를 구현하며, 공유 인코더 레이어를 사용한다.
• 다양한 그래프 구조(예: KNN 및 반경 기반 그래프)를 조합하는 다중 그래프 융합 기법을 통해 정확도와 표현 학습 능력을 향상시킨다.
• 양방향 최적화를 위한 공유 및 과제별 헤드를 갖춘 엔드 투 엔드 학습을 교차 엔트로피 손실 함수를 사용해 수행한다.

실험 결과

연구 질문

• RQ1 그래프 컬러션 네트워크가 미세칼슘화 간의 공간 관계를 효과적으로 모델링하여 유방 조영검사에서 형태 및 분포 분류 성능을 향상시킬 수 있는가?
• RQ2 형태 및 분포 분류 간 공유 표현을 갖는 다중 과제 학습이 단일 과제 기준 모델에 비해 성능 향상을 이끌 수 있는가?
• RQ3 GCN 아키텍처의 깊이가 형태 및 분포 과제의 분류 성능에 어떤 영향을 미치는가?
• RQ4 다중 그래프 융합(예: KNN 및 반경 기반 그래프 조합)이 분류 모델의 강인성과 정확도를 얼마나 향상시키는가?
• RQ5 제안된 GCN 기반 프레임워크가 방사선 전문의의 추론 패턴을 재현하고 유방암 진단의 임상 의사결정 지원에 기여할 수 있는가?

주요 결과

• 제안된 다중 과제 GCN는 평가 데이터셋에서 모든 기준 모델보다 형태 및 분포 분류에서 뛰어난 성능을 보이며, 최신 기술 수준의 성능을 입증하였다.
• 다중 과제 학습 전략 덕분에 형태나 분포 중 하나만 별도로 학습하는 경우보다 두 과제에서 모두 성능 향상이 이루어졌으며, 이는 공유 표현 학습의 효과 때문이다.
• GCN의 깊이를 증가시킴에 따라 성능 향상이 지속되었으며, 더 깊은 네트워크가 다단계 이웃 노드로부터 메시지 전달을 가능하게 하여 특징 학습 능력을 향상시켰다.
• 제거 실험 결과, KNN 및 반경 기반 그래프를 모두 사용하는 다중 그래프 융합 기법이 단일 그래프 입력에 비해 모델의 강인성과 정확도를 크게 향상시켰음을 확인하였다.
• 모델의 성능 향상 요인은 GCN가 공간 집합 패턴을 포착할 수 있었기 때문으로 분석되었으며, 같은 형태의 계산화는 공간적으로 뭉쳐져 있으며, 분포 패턴은 조직 내에서의 확산 양상을 반영한다.
• 결과적으로 그래프 기반 딥 러닝 기법이 전통적인 CNN 기반 접근 방식보다 더 임상적으로 해석 가능하고 견고한 미세칼슘화 분석을 가능하게 할 수 있음을 시사한다.