[논문 리뷰] Using Radiomics as Prior Knowledge for Thorax Disease Classification and Localization in Chest X-rays

Yan Han, Chongyan Chen외 8명|PubMed|2020. 11. 25.

Radiomics and Machine Learning in Medical Imaging참고 문헌 24인용 수 13

한 줄 요약

이 논문은 흉부 X선에서 흉부 질환의 분류 및 국소화를 향상시키기 위해 방사학적 특징을 소프트 제약 조건으로 통합한 엔드 투 엔드 딥 러닝 프레임워크인 ChexRadiNet을 제안한다. 트리플릿 어텐션 메커니즘과 방사학적 특징을 이용한 반복적 개선을 통해, 세 가지 공개 데이터셋에서 분류에 대해 AUC 0.843, 국소화에 대해 T(IoU)=0.1일 때 0.679의 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Chest X-ray becomes one of the most common medical diagnoses due to its noninvasiveness. The number of chest X-ray images has skyrocketed, but reading chest X-rays still have been manually performed by radiologists, which creates huge burnouts and delays. Traditionally, radiomics, as a subfield of radiology that can extract a large number of quantitative features from medical images, demonstrates its potential to facilitate medical imaging diagnosis before the deep learning era. In this paper, we develop an end-to-end framework, ChexRadiNet, that can utilize the radiomics features to improve the abnormality classification performance. Specifically, ChexRadiNet first applies a light-weight but efficient triplet-attention mechanism to classify the chest X-rays and highlight the abnormal regions. Then it uses the generated class activation map to extract radiomic features, which further guides our model to learn more robust image features. After a number of iterations and with the help of radiomic features, our framework can converge to more accurate image regions. We evaluate the ChexRadiNet framework using three public datasets: NIH ChestX-ray, CheXpert, and MIMIC-CXR. We find that ChexRadiNet outperforms the state-of-the-art on both disease detection (0.843 in AUC) and localization (0.679 in T(IoU) = 0.1). We make the code publicly available at https://github. com/bionlplab/lung_disease_detection_amia2021, with the hope that this method can facilitate the development of automatic systems with a higher-level understanding of the radiological world.

연구 동기 및 목표

• 放射선의학자들이 수동으로 흉부 X선을 해석하는 부담 증가로 인한 번아웃과 진단 변동성을 줄이기 위해.
• 기존 방사학적 특징과 딥 러닝 간 격차를 해소하기 위해 방사학적 특징을 신경망 학습 중 소프트 제약 조건으로 통합하기 위해.
• 사전에 애너테이션된 바운딩 박스가 필요 없이 질환 분류 및 국소화를 동시에 향상시킬 수 있는 엔드 투 엔드 프레임워크를 개발하기 위해.
• 방사학적 추론과 실제 애너테이션과 일치하는 어텐션 맵을 생성함으로써 모델의 해석 가능성 향상시키기 위해.
• 자동 흉부 질환 검출을 위한 더 견고하고 일반화 능력이 뛰어나며 임상적으로 해석 가능한 AI 시스템 개발을 위해.

제안 방법

• ChexRadiNet는 다중 작업, 밀폐형 루프 아키텍처를 채택하며, 다중 레이블 분류를 위한 하나의 브랜치와 방사학적 특징을 활용한 국소화를 위한 다른 하나의 브랜치를 포함한다.
• 경량 트리플릿 어텐션 메커니즘이 사용되어 흉부 X선에서 병변 부위를 강조하는 클래스 활성 맵을 생성한다.
• 어텐션 맵에서 추출한 방사학적 특징은 역전파 과정 중 모델 정규화를 위한 소프트 제약 조건으로 사용된다.
• 프레임워크는 잠재변수 모델 $E_{z\sim p(z|x)}p(y|x,z)$를 사용하며, 여기서 $z$는 이미지 $x$ 위에 방사학적 기반 마스크를 나타내고, $p(y|x,z)$는 마스킹된 분류 헤드이다.
• 사전에 애너테이션된 바운딩 박스가 필요 없이 약한 지도 학습 방식으로 엔드 투 엔드로 학습된다.
• 백본 네트워크로 ResNet-18을 사용하며, 프레임워크는 NIH ChestX-ray, CheXpert, MIMIC-CXR 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 방사학적 특징이 딥 러닝 모델에 사전 지식으로 효과적으로 통합되어 흉부 질환의 분류 및 국소화 성능을 향상시킬 수 있는가?
• RQ2 어텐션 맵과 방사학적 특징을 활용한 약한 지도 학습 프레임워크가 사전에 애너테이션된 바운딩 박스가 없이도 기존 최신 기술 수준의 모델을 초월할 수 있는가?
• RQ3 방사학적 특징이 다수의 흉부 질환 검출에서 모델의 견고성과 해석 가능성에 얼마나 기여하는가?
• RQ4 모델이 생성한 어텐션 맵이 심장비대, 폐렴, 폐 종양과 같은 주요 병변에 대해 방사학적 기준값과 얼마나 잘 일치하는가?
• RQ5 방사학적 특징의 통합이 다양한 실제 흉부 X선 데이터셋에서 모델의 일반화 능력을 향상시킬 수 있는가?

주요 결과

• ChexRadiNet는 방사학적 특징이 없는 기준 모델보다 NIH ChestX-ray 데이터셋에서 흉부 질환 분류에 대해 AUC 0.843을 달성하여 기존 성능을 초월한다.
• NIH ChestX-ray 데이터셋에서 T(IoU)=0.1일 때 국소화 성능이 0.679에 도달하여 병변 국소화 정확도가 뛰어나다는 것을 입증한다.
• CheXpert 데이터셋에서 ChexRadiNet는 평균 AUC를 0.854에서 0.883으로 향상시키며, 폐렴, 흉막출액, 병변의 검출에서 뚜렷한 향상이 있었다.
• MIMIC-CXR 데이터셋에서 모델은 평균 AUC를 0.822에서 0.837로 높여 다양한 임상 환경에서 일관된 성능 향상을 보였다.
• 정성적 분석 결과, 모델의 어텐션 맵이 실제 애너테이션된 바운딩 박스와 잘 일치하며, 특히 이측 폐렴의 경우 애너테이션이 불완전하더라도 다중 병변을 탐지하는 데 성공했다.
• 모델는 어텐션 맵을 통해 방사학적 추론을 뒷받침하는 시각적 증거를 제공함으로써 해석 가능성 향상이 뚜렷했으며, 누락된 애너테이션을 보완하는 데에도 기여했다.