[논문 리뷰] CheXtransfer: Performance and Parameter Efficiency of ImageNet Models for Chest X-Ray Interpretation

Alexander Ke, William L. Ellsworth외 3명|arXiv (Cornell University)|2021. 01. 18.

COVID-19 diagnosis using AI참고 문헌 21인용 수 23

한 줄 요약

이 연구는 16개의 ImageNet 미사전 학습 모델을 CheXpert 흉부 X-ray 데이터셋에 적용하여 전이 성능와 파라미터 효율성을 평가한다. ImageNet과 CheXpert 간의 성능 상관관계는 없으며, 미사전 학습 모델의 경우 아키텍처 패밀리가 크기보다 더 중요한 영향을 미친다. 사전 학습이 성능 향상에 기여함을 확인하였고, 특히 작은 모델에서 두드러진다. 또한 최종 레이어를 잘라내는 방식이 성능 손실 없이 파라미터 효율성을 3.25배 향상시킴을 입증한다.

ABSTRACT

Deep learning methods for chest X-ray interpretation typically rely on pretrained models developed for ImageNet. This paradigm assumes that better ImageNet architectures perform better on chest X-ray tasks and that ImageNet-pretrained weights provide a performance boost over random initialization. In this work, we compare the transfer performance and parameter efficiency of 16 popular convolutional architectures on a large chest X-ray dataset (CheXpert) to investigate these assumptions. First, we find no relationship between ImageNet performance and CheXpert performance for both models without pretraining and models with pretraining. Second, we find that, for models without pretraining, the choice of model family influences performance more than size within a family for medical imaging tasks. Third, we observe that ImageNet pretraining yields a statistically significant boost in performance across architectures, with a higher boost for smaller architectures. Fourth, we examine whether ImageNet architectures are unnecessarily large for CheXpert by truncating final blocks from pretrained models, and find that we can make models 3.25x more parameter-efficient on average without a statistically significant drop in performance. Our work contributes new experimental evidence about the relation of ImageNet to chest x-ray interpretation performance.

연구 동기 및 목표

• 더 나은 성능을 보이는 ImageNet 아키텍처가 흉부 X-ray 해석 작업에서 더 나은 성능을 내는지 조사하기 위해.
• 의료 영상 모델의 경우, 특히 모델 크기와의 상관관계에서 ImageNet 사전 학습이 성능 향상에 기여하는지 평가하기 위해.
• CheXpert에 대해 ImageNet 미사전 학습 모델이 과도하게 크지 않은지 확인하기 위해, 모델 잘라내기를 통해 파라미터 효율성을 평가하기 위해.
• 사전 학습이 없는 경우, 의료 영상에서 아키텍처 패밀리 또는 모델 크기가 성능에 더 큰 영향을 미치는지 결정하기 위해.
• 모델 잘라내기가 성능 유지를 유지하면서 파라미터 효율성을 향상시키고, 더 높은 해상도의 클래스 활성화 맵을 통해 설명 가능성 향상을 통해 임상적 신뢰도를 높일 수 있는지 탐색하기 위해.

제안 방법

• ResNet, DenseNet, EfficientNet, MobileNet 등 16종의 인기 있는 합성곱 신경망 아키텍처를 ImageNet 사전 학습 여부에 따라 CheXpert 데이터셋에 훈련시켰다.
• 12개의 CheXpert 분류 과제에 대해 receiver operating characteristic 곡선 아래 면적(AUC)을 사용하여 성능를 비교하였으며, 과제 간 집계된 결과를 분석하였다.
• 사전 학습된 모델의 최종 블록(예: 마지막 완전 연결 레이어 및 풀링 레이어)을 체계적으로 잘라내어 파라미터 효율성을 측정하였다.
• Spearman의 순위 상관계수를 사용하여 ImageNet 정확도와 CheXpert AUC 간의 관계, 모델 크기와 사전 학습에 의한 성능 향상 간의 관계를 평가하였다.
• 잘라낸 모델로부터 클래스 활성화 맵(CAMs)을 생성하여 설명 가능성과 병변의 공간적 국소화 능력을 평가하였다.
• 성능 향상의 유의성과 잘라낸 후 성능 저하 여부를 확인하기 위해 통계적 검정(예: 대응 t-검정)을 적용하였다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처 간에 ImageNet 성능과 CheXpert 성능 사이에 통계적으로 유의미한 상관관계가 존재하는가?
• RQ2 모델를 무작위 초기화 상태에서 CheXpert에 훈련할 경우, 아키텍처 패밀리의 선택 또는 모델 크기가 성능에 더 큰 영향을 미치는가?
• RQ3 ImageNet 사전 학습이 CheXpert에서 통계적으로 유의미한 성능 향상 기여를 하는가? 그리고 이 향상 정도가 모델 크기에 따라 달라지는가?
• RQ4 ImageNet 사전 학습된 모델의 최종 블록을 잘라내는 것이 성능 저하 없이 파라미터 효율성을 향상시킬 수 있는가?
• RQ5 모델 잘라내기가 더 높은 해상도의 클래스 활성화 맵을 통해 설명 가능성을 향상시키고, 임상적 신뢰도 향상에 기여하는가?

주요 결과

• ImageNet 성능과 CheXpert 성능 사이에 통계적으로 유의미한 관계는 없으며, 사전 학습 없이 훈련된 모델의 경우 Spearman의 rho = 0.08, 사전 학습이 있는 경우 rho = 0.06이다.
• 사전 학습이 없는 모델의 경우, 한 패밀리 내에서 모델 크기 간 성능 차이는 미미하다(예: ResNet: ΔAUC = 0.005), 반면 패밀리 간 성능 차이는 0.006 이상 초과하여 아키텍처 패밀리가 크기보다 더 큰 영향을 미친다.
• ImageNet 사전 학습은 모든 16개 아키텍처 평균 AUC를 0.016 향상시키며 통계적으로 유의미한 성능 향상 기여를 한다. 특히 작은 모델에서 더 큰 향상 효과를 보이며, 파라미터 수와 성능 향상 간 Spearman의 rho = -0.72이다.
• 사전 학습된 모델의 최종 블록을 잘라내는 방식은 평균적으로 파라미터 효율성을 3.25배 향상시키며, 성능 저하가 통계적으로 유의미하지 않아 경량 모델을 가능하게 한다.
• 잘라낸 모델은 더 높은 해상도의 클래스 활성화 맵을 생성하여 병변의 국소화 능력 향상과 임상적 신뢰도 향상에 기여할 수 있다.
• ImageNet에서 검색된 최신 아키텍처인 EfficientNet과 MobileNet은 CheXpert에서 더 오래된 아키텍처인 DenseNet과 ResNet보다 성능이 열 劣하며, 이는 ImageNet이 의료 영상 아키텍처 선택에 적합한 벤치마크가 아닐 수 있음을 시사한다.