[논문 리뷰] Cross-Modal Contrastive Learning for Abnormality Classification and Localization in Chest X-rays with Radiomics using a Feedback Loop.

Yan Han, Chongyan Chen외 5명|arXiv (Cornell University)|2021. 04. 11.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 흉부 X-ray 영상과 방사형 특징을 통합하여 비정상성 분류 및 국소화를 향상시키기 위해 반감독형 다중모态 대비 학습 프레임워크를 제안한다. Grad-CAM을 사용해 주요 영역을 식별하고, 추출한 방사형 특징을 이미지 특징의 양성 샘플로 간주함으로써, 특징의 강건성과 해석 가능성을 향상시키는 피드백 루프를 구축한다. 이로 인해 NIH 흉부 X-ray 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Building a highly accurate predictive model for these tasks usually requires a large number of manually annotated labels and pixel regions (bounding boxes) of abnormalities. However, it is expensive to acquire such annotations, especially the bounding boxes. Recently, contrastive learning has shown strong promise in leveraging unlabeled natural images to produce highly generalizable and discriminative features. However, extending its power to the medical image domain is under-explored and highly non-trivial, since medical images are much less amendable to data augmentations. In contrast, their domain knowledge, as well as multi-modality information, is often crucial. To bridge this gap, we propose an end-to-end semi-supervised cross-modal contrastive learning framework, that simultaneously performs disease classification and localization tasks. The key knob of our framework is a unique positive sampling approach tailored for the medical images, by seamlessly integrating radiomic features as an auxiliary modality. Specifically, we first apply an image encoder to classify the chest X-rays and to generate the image features. We next leverage Grad-CAM to highlight the crucial (abnormal) regions for chest X-rays (even when unannotated), from which we extract radiomic features. The radiomic features are then passed through another dedicated encoder to act as the positive sample for the image features generated from the same chest X-ray. In this way, our framework constitutes a feedback loop for image and radiomic modality features to mutually reinforce each other. Their contrasting yields cross-modality representations that are both robust and interpretable. Extensive experiments on the NIH Chest X-ray dataset demonstrate that our approach outperforms existing baselines in both classification and localization tasks.

연구 동기 및 목표

• 특히 비정상성에 대한 경계 상자 주석을 포함한 고비용으로 정밀하게 주석이 된 흉부 X-ray 데이터 확보 문제를 해결하기 위해.
• 비라벨 데이터를 활용하여 의료 영상 분야의 딥러닝 모델의 일반화 능력과 해석 가능성을 향상시키기 위해.
• 자연 이미지에서의 대비 학습과 의료 영상 분야의 적용 간 격차를 메우기 위해, 데이터 증강이 제한된 환경에서의 적용을 위해.
• 이미지와 방사형 특징 모odal 간 피드백 루프를 구축하여 상호로 특징 학습을 강화하기 위해.
• 최소한의 감독 정보로도 종단간 분류 및 국소화를 동시에 달성하기 위해.

제안 방법

• 이미지 인코더가 흉부 X-ray 영상을 처리하여 이미지 특징을 생성하고 질병 분류를 수행한다.
• Grad-CAM을 적용하여 수동 주석 없이도 X-ray 영상의 비정상 영역을 강조한다.
• Grad-CAM으로 식별된 영역에서 방사형 특징을 추출하고 전용 인코더를 통해 처리한다.
• 동일한 X-ray에서 유도된 방사형 특징을 이미지 특징의 양성 샘플로 활용하여 다중모달 대비 학습을 가능하게 한다.
• 이미지 및 방사형 특징 간 대비 손실을 통해 상호로 강화되는 피드백 루프를 설정하여 표현 품질을 향상시킨다.
• 프레임워크는 이미지 및 방사형 모달 특징 간 대비 손실을 사용하여 종단간으로 훈련되며, 분류 능력이 뛰어나고 해석 가능한 표현을 촉진한다.

실험 결과

연구 질문

• RQ1 방사형 특징이 흉부 X-ray 분석을 위한 대비 학습에서 효과적인 양성 샘플로 기능할 수 있는가?
• RQ2 이미지 특징과 방사형 특징을 통합함으로써 분류 및 국소화 성능가 향상되는 정도는 어떠한가?
• RQ3 이미지와 방사형 모달 간 피드백 루프가 모델의 강건성과 해석 가능성을 얼마나 향상시키는가?
• RQ4 이 프레임워크는 고비용 경계 상자 주석에 대한 의존도를 줄일 수 있는가, 동시에 높은 성능을 유지할 수 있는가?
• RQ5 기존 의료 영상 분야의 대비 학습 접근법과 비교해 볼 때, 제안된 방법은 어떠한가?

주요 결과

• 제안된 프레임워크는 NIH 흉부 X-ray 데이터셋에서 분류 및 국소화 작업 모두 최신 기술 수준의 성능을 달성한다.
• 방사형 특징을 양성 샘플로 통합함으로써 학습된 표현의 분류 능력이 크게 향상된다.
• 이미지 및 방사형 모달 특징 간 피드백 루프가 특징의 강건성과 해석 가능성을 향상시킨다.
• Grad-CAM을 활용해 주요 영역을 식별함으로써 고비용 경계 상자 주석에 대한 의존도를 줄일 수 있다.
• 다중모달 대비 학습 프레임워크는 제로샷 및 피셔샷 설정 모두에서 기존 베이스라인을 능가한다.