[논문 리뷰] Representative Image Feature Extraction via Contrastive Learning Pretraining for Chest X-ray Report Generation

Yu-Jen Chen, Wei-Hsiang Shen외 7명|arXiv (Cornell University)|2022. 09. 04.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

이 논문은 흉부 X-ray 보고서 생성을 위한 대비 학습 기반 프레임워크를 제안하며, 외부 데이터나 메타데이터 없이 X-ray 영상만을 사용해 시각 인코더를 사전 훈련하고, 폐 영역을 중심으로 특징 학습을 유도하기 위해 폐 세분화를 데이터 증강 기법으로 도입한다. 제안된 방법은 IU X-ray 및 MIMIC-CXR 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 BLEU 및 ROUGE 점수를 향상시키며, 기준 대비 대비 학습에서 세분화를 적용하지 않은 경우보다 더 정확하고 폐 중심의 보고서를 생성한다.

ABSTRACT

Medical report generation is a challenging task since it is time-consuming and requires expertise from experienced radiologists. The goal of medical report generation is to accurately capture and describe the image findings. Previous works pretrain their visual encoding neural networks with large datasets in different domains, which cannot learn general visual representation in the specific medical domain. In this work, we propose a medical report generation framework that uses a contrastive learning approach to pretrain the visual encoder and requires no additional meta information. In addition, we adopt lung segmentation as an augmentation method in the contrastive learning framework. This segmentation guides the network to focus on encoding the visual feature within the lung region. Experimental results show that the proposed framework improves the performance and the quality of the generated medical reports both quantitatively and qualitatively.

연구 동기 및 목표

• 비의료 분야 데이터셋에서 시각 인코더를 사전 훈련하는 데서 비롯하는 한계를 해결하기 위해, 흉부 X-ray에서 도메인 특화된 특징을 포착하지 못하는 문제를 해결한다.
• 비교적 폐 영역에 집중된 시각 표현 학습을 통해 생성된 방사선 보고서의 품질과 정확도를 향상시키기 위해 노력한다.
• 추가 메타데이터나 외부 데이터셋이 필요 없는 자기지도 학습 사전 훈련 방법을 개발한다.
• 폐 세분화를 증강 전략으로 활용할 경우 특징 학습이 의료 보고서 생성에 어떻게 향상되는지 평가한다.

제안 방법

• 외부 데이터셋이나 메타데이터 없이 X-ray 영상만을 사용해 대비 학습(contrastive learning, CL)을 통해 시각 인코더를 사전 훈련한다.
• 모델이 폐 영역에 주의를 기울이고 폐 영역의 특징을 학습하도록 폐 세분화 마스크를 데이터 증강 기법으로 도입한다.
• 긍정적 시각(증강된 이미지) 간 유사도를 최대화하고, 부정적 시각 간 유사도를 최소화하기 위해 인스턴스 식별 대비 손실을 적용한다.
• 이미지와 보고서의 쌍을 사용해 지도 학습 손실을 통해 전체 엔드 투 엔드 모델을 미세 조정한다.
• 사전 훈련된 인코더를 최신 보고서 생성 모델들(예: R2Gen, Transformer)의 특징 추출기로 사용하여 이식 가능성 평가를 수행한다.
• 표준 평가 지표(BLEU, ROUGE)와 폐 관련 발견 항목에 대한 MeSH 태그 F1 점수를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비의료 분야 데이터셋에서 사전 훈련된 대비 학습 방식에 비해, 단지 X-ray 영상만을 사용해 사전 훈련한 경우 의료 보고서 생성을 위한 시각 표현 학습이 향상되는가?
• RQ2 대비 학습에 폐 세분화를 증강 기법으로 통합할 경우 폐 이상에 대한 더 정확하고 세부적인 기술이 가능해지는가?
• RQ3 기존 최신 기술 수준의 모델들과 비교해 제안된 방법이 정량적 및 정성적으로 어떻게 성능을 냈는가?
• RQ4 대비 학습을 통해 사전 훈련된 인코더에 폐 세분화를 적용한 경우, 다른 보고서 생성 아키텍처로의 일반화 능력은 어느 정도인가?
• RQ5 표준 대비 학습에 비해 폐 세분화를 적용한 모델이 폐 특이 병변에 대해 더 정확한 기술을 제공하는가?

주요 결과

• 제안된 방법은 IU X-ray 및 MIMIC-CXR 데이터셋 모두에서 최신 기술 수준(SOTA) 성능을 달성하였으며, BLEU-1 점수는 각각 0.466과 0.359를 기록하여 이전 방법들을 능가했다.
• R2Gen 모델에 MoCo 사전 훈련을 적용함으로써 IU X-ray에서 BLEU-1 점수는 0.455에서 0.466으로, MIMIC-CXR에서 0.354에서 0.359로 향상되어 이식 가능성의 가능성을 입증했다.
• 폐 세분화의 도입으로 폐 관련 MeSH 태그의 F1 점수가 상승했다—예를 들어 기흉(pneumothorax)의 경우 0.808 vs. 0.752, 석회화(calcification)의 경우 0.120 vs. 0.030—이로써 폐 병변의 국소화 능력 향상이 확인되었다.
• 정성적 분석 결과, 폐 세분화를 적용한 모델은 3건의 사례 중 3건에서 낮은 폐 용적을 정확히 기술한 반면, 표준 대비 학습 모델은 잘못된 방식으로 확장된 폐를 기술했다.
• 폐 세분화를 적용한 모델은 정량적 지표와 인간 평가를 통한 정성적 예시에서 모두 폐 영역에 대한 더 정확하고 세부적인 기술을 생성했다.
• 제거 실험(ablation study) 결과, 폐 세분화가 폐 병변에 대한 특이도를 향상시키지만 전반적인 보고서 품질에 크게 영향을 주지 않는 것으로 확인되었다.