[論文レビュー] Temperature-Driven Robust Disease Detection in Brain and Gastrointestinal Disorders via Context-Aware Adaptive Knowledge Distillation

Saif Ur Rehman Khan, Muhammad Nabeel Asim+2 more|ArXiv.org|May 9, 2025

Brain Tumor Detection and Classification被引用数 3

ひとこと要約

要約: 本論文は、知識蒸馏を不確実性とデータ品質に適応させる文脈認識型適応温度スケーリングを提案し、教員-学生ペアの選択にはアリのコロニー最適化を用いて、脳MRIおよびGIデータセットで最先端の精度を達成する。

ABSTRACT

Medical disease prediction, particularly through imaging, remains a challenging task due to the complexity and variability of medical data, including noise, ambiguity, and differing image quality. Recent deep learning models, including Knowledge Distillation (KD) methods, have shown promising results in brain tumor image identification but still face limitations in handling uncertainty and generalizing across diverse medical conditions. Traditional KD methods often rely on a context-unaware temperature parameter to soften teacher model predictions, which does not adapt effectively to varying uncertainty levels present in medical images. To address this issue, we propose a novel framework that integrates Ant Colony Optimization (ACO) for optimal teacher-student model selection and a novel context-aware predictor approach for temperature scaling. The proposed context-aware framework adjusts the temperature based on factors such as image quality, disease complexity, and teacher model confidence, allowing for more robust knowledge transfer. Additionally, ACO efficiently selects the most appropriate teacher-student model pair from a set of pre-trained models, outperforming current optimization methods by exploring a broader solution space and better handling complex, non-linear relationships within the data. The proposed framework is evaluated using three publicly available benchmark datasets, each corresponding to a distinct medical imaging task. The results demonstrate that the proposed framework significantly outperforms current state-of-the-art methods, achieving top accuracy rates: 98.01% on the MRI brain tumor (Kaggle) dataset, 92.81% on the Figshare MRI dataset, and 96.20% on the GastroNet dataset. This enhanced performance is further evidenced by the improved results, surpassing existing benchmarks of 97.24% (Kaggle), 91.43% (Figshare), and 95.00% (GastroNet).

研究の動機と目的

• 不確実性とデータ品質に適応させることによって医用画像病変検出の頑健性と精度を向上させる。
• アリのコロニー最適化を用いて最適な教員-学生モデルペアを自動選択し蒸留効率を高める。
• 既存手法と比較して脳MRIおよび胃腸画像データセットで性能向上を実証する。

提案手法

• 事前学習済みネットワークのプールから最適な教員-学生モデルペアを選択するためにアリのコロニー最適化を導入する。
• 腕頭記憶作動に文脈認識型、規則ベースの適応温度スケーリングをKDに導入し、画像品質、病変の複雑さ、教員の信頼度に基づいて温度を調整する。
• KDフレームワークでDenseNet201の教員とResNet152V2の学生を使用する。
• 訓練中の蒸留温度を調整する文脈認識ルール（ルール1〜ルール3）を定式化する。
• 適応温度を tau(x)=1+alpha*U(x) として定義し、U(x) を不確実性スコアとする。
• Kaggle MRI脳腫瘍、Figshare MRI、GastroNetを含む三つの公開データセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 文脈認識型適応温度スケーリングは不確かな医用画像のKD伝達を改善するか。
• RQ2 アリのコロニー最適化は医用画像におけるKDの優れた教員-学生モデルペアを効果的に選択できるか。
• RQ3 提案フレームワークは脳MRIおよび胃腸画像データセットで最新手法と比較してどの程度性能を向上させるか。

主な発見

• KaggleのMRI脳腫瘍データセットで98.01%の精度を達成。
• Figshare MRIデータセットで92.81%の精度を達成。
• GastroNetデータセットで96.20%の精度を達成。
• Kaggleで97.24%、Figshareで91.43%、GastroNetで95.00%のベンチマークを上回る。
• 文脈認識型温度スケーリングは医用画像の不確実性およびノイズに対する頑健性を向上させた。
• アリのコロニー最適化は16個の事前学習モデルの中から最適な教員-学生ペアを効率的に選択した。