[논문 리뷰] Temperature-Driven Robust Disease Detection in Brain and Gastrointestinal Disorders via Context-Aware Adaptive Knowledge Distillation

Saif Ur Rehman Khan, Muhammad Nabeel Asim외 2명|ArXiv.org|2025. 05. 09.

Brain Tumor Detection and Classification인용 수 3

한 줄 요약

논문은 지식 증류에 대한 맥락 인식 적응 온도 조정(context-aware adaptive temperature scaling)을 제안하고, 지식 증류를 위한 교사-학생 쌍 선택에 Ant Colony Optimization를 활용하여 뇌 MRI 및 GI 데이터셋에서 최첨단 정확도를 달성한다.

ABSTRACT

Medical disease prediction, particularly through imaging, remains a challenging task due to the complexity and variability of medical data, including noise, ambiguity, and differing image quality. Recent deep learning models, including Knowledge Distillation (KD) methods, have shown promising results in brain tumor image identification but still face limitations in handling uncertainty and generalizing across diverse medical conditions. Traditional KD methods often rely on a context-unaware temperature parameter to soften teacher model predictions, which does not adapt effectively to varying uncertainty levels present in medical images. To address this issue, we propose a novel framework that integrates Ant Colony Optimization (ACO) for optimal teacher-student model selection and a novel context-aware predictor approach for temperature scaling. The proposed context-aware framework adjusts the temperature based on factors such as image quality, disease complexity, and teacher model confidence, allowing for more robust knowledge transfer. Additionally, ACO efficiently selects the most appropriate teacher-student model pair from a set of pre-trained models, outperforming current optimization methods by exploring a broader solution space and better handling complex, non-linear relationships within the data. The proposed framework is evaluated using three publicly available benchmark datasets, each corresponding to a distinct medical imaging task. The results demonstrate that the proposed framework significantly outperforms current state-of-the-art methods, achieving top accuracy rates: 98.01% on the MRI brain tumor (Kaggle) dataset, 92.81% on the Figshare MRI dataset, and 96.20% on the GastroNet dataset. This enhanced performance is further evidenced by the improved results, surpassing existing benchmarks of 97.24% (Kaggle), 91.43% (Figshare), and 95.00% (GastroNet).

연구 동기 및 목표

• 의료 영상 질병 탐지의 견고성과 정확도를 데이터 품질과 불확실성에 적응하도록 지식 증류를 조정함으로써 향상시킨다.
• Ant Colony Optimization을 사용하여 증류 효율성을 높이기 위해 최적의 교사-학생 모델 쌍을 자동으로 선택한다.
• 기존 방법과 비교하여 뇌 MRI 및 위장 영상 벤치마크에서 성능 향상을 입증한다.

제안 방법

• 사전 학습된 네트워크 풀에서 최적의 교사-학생 모델 쌍을 선택하기 위해 Ant Colony Optimization을 도입한다.
• 이미지 품질, 질병 복잡도 및 교사 신뢰도에 따라 온도를 조정하는 맥락 인식의 규칙 기반 적응 온도 스케일링(KD)을 개발한다.
• KD 프레임워크에서 DenseNet201 교사와 ResNet152V2 학생을 사용한다.
• 학습 중 증류 온도를 조절하기 위한 맥락 인식 규칙(Rule-1 ~ Rule-3)을 제시한다.
• 적응 온도를 tau(x)=1+alpha*U(x)로 정의하며, 여기서 U(x)는 불확실성 점수이다.
• Kaggle MRI brain tumors, Figshare MRI, GastroNet를 포함한 세 개의 공개 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 맥락 인식적 적응 온도 스케일링이 불확실한 의료 영상에 대한 KD 전이성을 개선하는가?
• RQ2 의료 영상에서 Ant Colony Optimization이 KD를 위한 우수한 교사-학생 모델 쌍을 효과적으로 선택할 수 있는가?
• RQ3 제안된 프레임워크가 뇌 MRI 및 위장 영상 벤치마크에서 최첨단 방법과 비교했을 때 성능 향상은 얼마인가?

주요 결과

• Kaggle MRI brain tumor 데이터셋에서 98.01%의 정확도를 달성했다.
• Figshare MRI 데이터셋에서 92.81%의 정확도를 달성했다.
• GastroNet 데이터셋에서 96.20%의 정확도를 달성했다.
• 벤치마크 97.24%(Kaggle), 91.43%(Figshare), 95.00%(GastroNet)를 능가했다.
• 맥락 인식 온도 조정은 의료 영상의 불확실성 및 노이즈에 대한 견고성을 향상시켰다.
• Ant Colony Optimization은 16개의 사전 학습 모델 중 최적의 교사-학생 모델 쌍을 효율적으로 선택했다.