[논문 리뷰] Bag of Tricks for Long-Tailed Multi-Label Classification on Chest X-Rays

Hong Feng, Tianjie Dai외 3명|arXiv (Cornell University)|2023. 08. 17.

COVID-19 diagnosis using AIMedicine인용 수 3

한 줄 요약

이 논문은 라벨 상관관계를 모델링하기 위해 시각적 및 텍스처적 인코더와 트랜스포머 기반 쿼리 네트워크를 통합한 하이브리드 시각-언어 프레임워크를 제안한다. 데이터 증강, 손실 재가중, MixUp, 테스트 시 증강, 외부 데이터 재충전을 결합하여 ICCV CVAMD 2023 CXR-LT 테스트 세트에서 0.349 mAP를 달성했으며, 이는 상위 다섯 명 내에 속한다.

ABSTRACT

Clinical classification of chest radiography is particularly challenging for standard machine learning algorithms due to its inherent long-tailed and multi-label nature. However, few attempts take into account the coupled challenges posed by both the class imbalance and label co-occurrence, which hinders their value to boost the diagnosis on chest X-rays (CXRs) in the real-world scenarios. Besides, with the prevalence of pretraining techniques, how to incorporate these new paradigms into the current framework lacks of the systematical study. This technical report presents a brief description of our solution in the ICCV CVAMD 2023 CXR-LT Competition. We empirically explored the effectiveness for CXR diagnosis with the integration of several advanced designs about data augmentation, feature extractor, classifier design, loss function reweighting, exogenous data replenishment, etc. In addition, we improve the performance through simple test-time data augmentation and ensemble. Our framework finally achieves 0.349 mAP on the competition test set, ranking in the top five.

연구 동기 및 목표

• 임상적 흉부 X-ray 진단에서의 클래스 불균형과 레이블 동시 발생 문제를 동시에 해결한다.
• 장타일드 다중 레이블 데이터셋에서 희귀 질환에 대한 모델 성능을 향상시킨다.
• 통합 프레임워크 내에서 데이터 증강, 손실 재가중, 테스트 시 증강과 같은 고급 기법을 체계적으로 평가한다.
• 더 나은 레이블 상관관계 모델링을 위해 사전 학습된 텍스트 인코더와 시각 모델의 통합을 탐색한다.
• 앙상블 및 데이터 재충전을 통해 ICCV CVAMD 2023 CXR-LT 경연에서 최고 성능을 달성한다.

제안 방법

• 이중 인코더 아키텍처를 사용: 이미지 특징은 ResNet-50 또는 DenseNet-121, 텍스트 레이블 임베딩은 PubMedBERT 또는 Clinical-T5를 활용한다.
• 멀티레이어 트랜스포머 디코더를 활용해 이미지 특징(키/밸류)을 기반으로 레이블 임베딩(쿼리)에 주의를 기울이며, 다중 모odal 상호작용을 가능하게 한다.
• 희귀 질환에 대한 장타일드 편향을 완화하기 위해 클래스별 재가중을 적용한 교차 엔트로피 손실을 사용한다(가중 요소 2 또는 3).
• 정규화를 위해 Beta(4) 분포를 사용한 MixUp 증강을 적용하여 훈련을 안정화하고 일반화 성능을 향상시킨다.
• 테스트 시 증강을 위한 기하 평균 융합을 사용하여 강건성을 향상시킨다.
• 레이블 공간 정렬 및 알려지지 않은 레이블에 대한 제로 프레싱을 통해 외부 데이터셋(ChestXRay14 및 CheXpert)을 활용해 훈련 데이터를 재충전한다.

실험 결과

연구 질문

• RQ1 장타일드 다중 레이블 흉부 X-ray 분류에서 데이터 증강과 손실 재가중 전략을 병합할 경우 성능에 어떤 영향을 미치는가?
• RQ2 사전 학습된 텍스트 인코더가 다중 레이블 의료 영상에서 레이블 상관관계 모델링에 얼마나 기여하는가?
• RQ3 테스트 시 증강 및 모델 앙상블이 희귀 질환 예측의 일반화 능력에 얼마나 기여하는가?
• RQ4 외부 CXR 데이터셋에서 유래한 외부 데이터 재충전이 희귀 클래스 성능 향상에 얼마나 효과적인가?
• RQ5 장타일드 다중 레이블 환경에서 시각-언어 트랜스포머 기반 쿼리 네트워크가 표준 분류 헤드를 초월할 수 있는가?

주요 결과

• ResNet-50와 PubMedBERT를 사용한 별도의 분류기, 손실 재가중(요소 2 또는 3), MixUp, TTA를 결합한 결과 개발 세트에서 0.3280 mAP를 달성했으며, 이는 이러한 기법을 적용하지 않은 경우 0.3187 mAP 대비 향상된 성능이다.
• 클래스별 앙상블이 모델별 앙상블보다 우수했으며, 테스트 세트에서 0.348 mAP를 기록했다.
• 최종 모델은 ChestXRay14 및 CheXpert에서 유래한 외부 데이터 재충전을 활용한 클래스별 앙상블을 사용하여 테스트 세트에서 0.349 mAP를 달성했으며, 경연 대회 상위 다섯 명 내에 진입했다.
• 외부 데이터 재충전은 레이블 정렬과 추가적인 훈련 신호 활용을 통해 성능 향상을 이끌었으며, 특히 희귀 질환에 있어 유의미한 기여를 하였다.
• 기하 평균 융합을 사용한 테스트 시 증강은 강건성과 성능 향상에 기여했으며, 특히 분류가 어려운 케이스에서 두드러진 효과를 보였다.
• 텍스트 인코더로 PubMedBERT와 Clinical-T5를 사용한 결과 유사한 성능를 기록했으며, 최종 설정에서 PubMedBERT가 略히 더 우수한 성능를 보였다.