[논문 리뷰] Context Matters: Graph-based Self-supervised Representation Learning for Medical Images

Li Sun, Ke Yu외 1명|arXiv (Cornell University)|2020. 12. 11.

COVID-19 diagnosis using AI참고 문헌 11인용 수 10

한 줄 요약

이 논문은 병변의 해부학적 구조를 고려한 계층적 프레임워크를 사용하여 영상 조각 수준 및 환자 수준의 표현을 통합함으로써 체적 의료 영상에 대한 그래프 기반 자기지도 학습 표현 학습 방법을 제안한다. 해부학적 아틀라스와 그래프 컨volution 네트워크를 활용하여 영역 간 상호관계를 모델링함으로써, 제로샷 및 희소샷 COVID-19 단계 분류에서 최신 기술 수준의 성능을 달성하였으며, 외부 COVID-19 데이터셋에서 96.3%의 정확도를 기록하여 지도 학습 및 자기지도 학습 기반의 베이스라인을 초월하였다.

ABSTRACT

Supervised learning method requires a large volume of annotated datasets. Collecting such datasets is time-consuming and expensive. Until now, very few annotated COVID-19 imaging datasets are available. Although self-supervised learning enables us to bootstrap the training by exploiting unlabeled data, the generic self-supervised methods for natural images do not sufficiently incorporate the context. For medical images, a desirable method should be sensitive enough to detect deviation from normal-appearing tissue of each anatomical region; here, anatomy is the context. We introduce a novel approach with two levels of self-supervised representation learning objectives: one on the regional anatomical level and another on the patient-level. We use graph neural networks to incorporate the relationship between different anatomical regions. The structure of the graph is informed by anatomical correspondences between each patient and an anatomical atlas. In addition, the graph representation has the advantage of handling any arbitrarily sized image in full resolution. Experiments on large-scale Computer Tomography (CT) datasets of lung images show that our approach compares favorably to baseline methods that do not account for the context. We use the learnt embedding to quantify the clinical progression of COVID-19 and show that our method generalizes well to COVID-19 patients from different hospitals. Qualitative results suggest that our model can identify clinically relevant regions in the images.

연구 동기 및 목표

• 특히 신종 감염병인 코로나19와 같은 질환에 대해 대규모 레이블이 부여된 의료 영상 데이터셋이 부족한 문제를 해결하기 위해, 풍부한 레이블이 없는 데이터를 활용한 자기지도 사전 학습을 가능하게 한다.
• 지역적 무늬 특징을 넘어서 해부학적 영역 간의 공간적 관계를 고려함으로써 의료 영상의 표현 학습을 향상시킨다.
• 이미지 리사이징 또는 자르기로 인한 정보 손실을 방지하기 위해, 임의의 크기의 3차원 의료 영상을 해상도 그대로 처리할 수 있는 방법을 개발한다.
• 지속적인 영역에 맞는 활성화 히트맵을 생성함으로써 예측의 해석 가능성을 확보한다. 이는 임상적으로 관련성이 있는 영역(예: 기저귀 투명도)을 강조한다.
• 다양한 병원에서의 영상 프로토콜에 걸쳐도 적용 가능한, 후속 작업(예: COVID-19 중증도 분류)으로의 일반화 능력을 입증한다.

제안 방법

• 3차원 의료 영상은 영상-아틀라스 정렬을 통해 유도된 해부학적 랜드마크 중심의 영상 조각으로 구성된 그래프로 표현된다.
• 조건부 인코더는 아틀라스에서 유도된 해부학적 위치를 조건으로 하여 영상 조각 수준의 국소 무늬 특징을 추출한다.
• 그래프 컨볼루션 네트워크(GCN)는 해부학적 영역 간의 공간적 및 해부학적 대응 관계를 기반으로 영역 간 상호관계를 모델링하며, 조각 간 특징을 집계한다.
• 이중 단계 자기지도 목적함수를 사용한다: 영역 수준에서의 대비 학습과 환자 수준에서의 그래프 수준 대비 학습을 통해 전반적인 맥락을 포착한다.
• 계층적 아키텍처는 리사이징 또는 자르기 없이 해상도 그대로 처리할 수 있게 하여 공간 정밀도를 유지한다.
• 기울기 기반의 시각화 방법을 통해 해석 가능한 모델을 구현하며, 기저귀 투명도와 같은 임상적으로 관련성이 있는 영역과 일치하는 활성화 히트맵을 생성한다.

실험 결과

연구 질문

• RQ1 그래프 기반 표현을 통해 해부학적 구조를 통합하면 체적 의료 영상에서 자기지도 표현 학습 성능이 향상되는가?
• RQ2 다중 해상도 및 해상도 그대로의 학습 프레임워크는 이미지 리사이징 또는 자르기가 필요한 기존의 CNN 기반 방법보다 우수한가?
• RQ3 대규모 레이블이 없는 COPD 또는 MosMed CT 데이터셋에서 사전 학습한 특징들이 COVID-19 중증도 분류와 같은 후속 작업으로 효과적으로 일반화되는가?
• RQ4 학습된 표현이 COVID-19 환자에서 기저귀 투명도와 같은 임상적으로 관련성이 있는 영역을 올바르게 강조하는가?
• RQ5 모델의 성능은 다양한 병원과 영상 프로토콜 간에서도 안정적인가?

주요 결과

• 제안된 방법은 MosMed 데이터셋에서 사전 학습한 특징을 기반으로 외부 COVID-19 CT 데이터셋에서 96.3%의 테스트 정확도를 달성하였으며, 지도 학습 3D CNN 기반의 모든 베이스라인을 뛰어넘었다.
• COPDGene 데이터셋에서 사전 학습한 특징 역시 90.0%의 정확도를 기록하여, 코로나19 병변에 대한 사전 노출 없이도 뛰어난 전이 능력을 보였다.
• 환자 수준의 특징에 대한 UMAP 시각화 결과에서 FEV1pp와의 명확한 추세 상관관계가 관찰되어, 학습된 표현이 질병 중증도 진행 상황을 반영하고 있음을 확인하였다.
• COVID-19 분류를 위한 활성화 히트맵은 CT 영상에서 복합성 기저귀 투명도 영역과 겹쳐져, 모델이 임상적으로 관련성이 있는 영역을 정확히 국소화하고 있음을 확인하였다.
• 절단 실험 결과, 국소 해부학적 구조와 상호관계 기반의 그래프 구조가 표현 품질 향상에 기여하는 것으로 확인되었다.
• 모든 평가 지표에서 MoCo, MedicalNet, ModelsGenesis를 모두 압도하여, 뛰어난 특징 품질과 일반화 능력을 입증하였다.