[논문 리뷰] LMFLOSS: A Hybrid Loss For Imbalanced Medical Image Classification

Abu Adnan Sadi, Labib Chowdhury외 5명|arXiv (Cornell University)|2022. 12. 24.

Artificial Intelligence in Healthcare인용 수 12

한 줄 요약

이 논문은 클래스 분포 인지와 동적 하드 샘플 집중을 결합한 하이브리드 손실 함수인 LMFLOSS를 제안한다. 이는 불균형한 의료 영상 분류 성능을 향상시키기 위해 제안된다. 대서열 제약과 포칼 손실 원리를 통합함으로써, 세 가지 다양한 의료 영상 데이터셋에서 상대적 매크로-F1 성능을 2%-10% 향상시켰으며, 소수 클래스 성능 향상에 크게 기여한다.

ABSTRACT

With advances in digital technology, the classification of medical images has become a crucial step for image-based clinical decision support systems. Automatic medical image classification represents a pivotal domain where the use of AI holds the potential to create a significant social impact. However, several challenges act as obstacles to the development of practical and effective solutions. One of these challenges is the prevalent class imbalance problem in most medical imaging datasets. As a result, existing AI techniques, particularly deep-learning-based methodologies, often underperform in such scenarios. In this study, we propose a novel framework called Large Margin aware Focal (LMF) loss to mitigate the class imbalance problem in medical imaging. The LMF loss represents a linear combination of two loss functions optimized by two hyperparameters. This framework harnesses the distinct characteristics of both loss functions by enforcing wider margins for minority classes while simultaneously emphasizing challenging samples found in the datasets. We perform rigorous experiments on three neural network architectures and with four medical imaging datasets. We provide empirical evidence that our proposed framework consistently outperforms other baseline methods, showing an improvement of 2%-9% in macro-f1 scores. Through class-wise analysis of f1 scores, we also demonstrate how the proposed framework can significantly improve performance for minority classes. The results of our experiments show that our proposed framework can perform consistently well across different architectures and datasets. Overall, our study demonstrates a simple and effective approach to addressing the class imbalance problem in medical imaging datasets. We hope our work will inspire new research toward a more generalized approach to medical image classification.

연구 동기 및 목표

• 소수 질병 클래스가 부족한 의료 영상 분류에서의 클래스 불균형 문제를 해결한다.
• 데이터 증강이나 리샘플링 없이도 희귀 질병 클래스에 대한 모델 일반화 및 성능을 향상시킨다.
• 클래스 분포와 샘플 난이도(하드 샘플)를 동시에 고려하는 손실 함수를 개발한다.
• 기존 손실 함수들—예를 들어 포칼 손실과 LDAM—보다 벤치마크 의료 영상 데이터셋에서 성능을 뛰어나게 한다.
• 공통 질병 클래스에 대한 편향을 줄임으로써 임상 환경에서 더 신뢰할 수 있는 AI 보조 진단을 가능하게 한다.

제안 방법

• 포칼 손실과 레이블 분포 인지 마진(LDAM) 원리를 융합한 하이브리드 손실인 LMFLOSS를 제안한다.
• 소수 클래스의 샘플 수에 기반해 마진을 증가시키기 위해 클래스별 마진 항목 γj = C / nj^(1/4)를 도입한다.
• 하드 샘플의 손실 기여도를 높임으로써 동적 가중치 메커니즘을 적용한다. 이는 집중 파rameter γ를 통해 이루어진다.
• 적응형 가중치를 적용한 수정된 교차 엔트로피 손실을 사용한다: FL(p_t) = -(1 - p_t)^γ * log(p_t), γ = 1.5로 조정한다.
• 클래스 불균형 보정과 하드 샘플 집중을 하나의 미분 가능한 손실 함수에 통합하여 엔드 투 엔드 훈련을 가능하게 한다.
• 표준 백프로파게이션을 사용하여 LMFLOSS를 목적 함수로 삼아, 세 가지 실세계 의료 영상 데이터셋에서 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 클래스 분포와 샘플 난이도를 동시에 모델링하는 하이브리드 손실 함수가 기존 손실 함수보다 불균형 의료 영상 분류에서 성능을 뛰어나게 할 수 있는가?
• RQ2 LMFLOSS는 매우 적은 훈련 샘플을 가진 소수 클래스에서 매크로-F1 점수를 얼마나 향상시키는가?
• RQ3 다양한 의료 영상 도메인에서 LMFLOSS는 포칼 손실 및 LDAM 손실에 비해 일반화 및 강건성 측면에서 어떻게 비교되는가?
• RQ4 LMFLOSS는 다수 클래스 성능을 유지하면서도 소수 클래스 탐지 성능을 크게 향상시키는가?
• RQ5 LMFLOSS는 희귀 질병에 대해 최소한의 훈련 데이터로도 고성능 분류를 가능하게 하는가?

주요 결과

• ODIR-5K 데이터셋에서, EfficientNetV2와 ResNet50를 사용할 때 LMFLOSS는 교차 엔트로피 및 기타 베이스라인 대비 매크로-F1을 2.5% 이상 향상시켰다.
• HAM-10K 데이터셋에서 LMFLOSS는 매크로-F1에서 3%의 성능 향상을 기록했으며, 훈련 샘플이 81개에 불과한 가장 희귀한 클래스(DF)에 대해서는 9% 향상되었다.
• ISIC-2019 데이터셋에서, ResNet50를 사용할 경우 LMFLOSS는 베이스라인 대비 매크로-F1에서 10% 향상되었고, EfficientNetV2를 사용할 경우 5% 향상되었다.
• ODIR-5K에서 가장 희귀한 클래스(H, 90개 샘플)에 대해 LMFLOSS는 매크로-F1 28.57%를 기록했으며, 이는 다른 방법들보다 뚜렷하게 뛰어난 성능이었다.
• Grad-CAM 시각화 결과, LMFLOSS로 훈련된 모델이 병변 영역에 더 정확하게 집중하는 것으로 확인되어, 더 나은 주의력과 해석 가능성의 가능성을 보였다.
• 모든 지표—정확도, 정밀도, 재현율, F1—에서 LMFLOSS는 세 가지 데이터셋 전반에서 교차 엔트로피, 포칼 손실, LDAM을 모두 초월했다.