[論文レビュー] LMFLOSS: A Hybrid Loss For Imbalanced Medical Image Classification

Abu Adnan Sadi, Labib Chowdhury+5 more|arXiv (Cornell University)|Dec 24, 2022

Artificial Intelligence in Healthcare被引用数 12

ひとこと要約

本稿では、クラス分布の認識と動的ハードサンプルの注目を組み合わせることで、不均衡な医療画像分類を改善するハイブリッド損失関数であるLMFLOSSを提案する。マージンの大きな制約とフォーカル損失の原則を統合することで、3つの多様な医療画像データセットで2%-10%の相対的なマクロ-F1向上を達成し、マイノリティクラスの性能を顕著に向上させた。

ABSTRACT

With advances in digital technology, the classification of medical images has become a crucial step for image-based clinical decision support systems. Automatic medical image classification represents a pivotal domain where the use of AI holds the potential to create a significant social impact. However, several challenges act as obstacles to the development of practical and effective solutions. One of these challenges is the prevalent class imbalance problem in most medical imaging datasets. As a result, existing AI techniques, particularly deep-learning-based methodologies, often underperform in such scenarios. In this study, we propose a novel framework called Large Margin aware Focal (LMF) loss to mitigate the class imbalance problem in medical imaging. The LMF loss represents a linear combination of two loss functions optimized by two hyperparameters. This framework harnesses the distinct characteristics of both loss functions by enforcing wider margins for minority classes while simultaneously emphasizing challenging samples found in the datasets. We perform rigorous experiments on three neural network architectures and with four medical imaging datasets. We provide empirical evidence that our proposed framework consistently outperforms other baseline methods, showing an improvement of 2%-9% in macro-f1 scores. Through class-wise analysis of f1 scores, we also demonstrate how the proposed framework can significantly improve performance for minority classes. The results of our experiments show that our proposed framework can perform consistently well across different architectures and datasets. Overall, our study demonstrates a simple and effective approach to addressing the class imbalance problem in medical imaging datasets. We hope our work will inspire new research toward a more generalized approach to medical image classification.

研究の動機と目的

• マイノリティ疾患クラスが不足している医療画像分類におけるクラス不均衡の課題に対処する。
• データ拡張やリサンプリングを用いずに、希少疾患クラスにおけるモデルの汎化性能と性能を向上させる。
• クラス分布とサンプルの難易度（ハードサンプル）を同時に考慮する損失関数を開発する。
• フォーカル損失やLDAMなどの既存の損失関数を、ベンチマークとしての医療画像データセットで上回る。
• 一般的な疾患クラスへのバイアスを低減することで、臨床現場におけるより信頼性の高いAI支援診断を可能にする。

提案手法

• フォーカル損失とラベル分布認識マージン（LDAM）の原則を統合したハイブリッド損失であるLMFLOSSを提案する。
• 少数クラスのサンプル数に基づいて、クラス依存のマージン項 γj = C / nj^(1/4) を導入し、少数クラスに対してマージンを拡大する。
• ハードサンプルを強調する動的重み付け機構を適用し、フォーカスパラメータ γ を用いてその損失寄与度を増加させる。
• 適応的重み付けを施した修正された交差エントロピー損失を用いる：FL(p_t) = -(1 - p_t)^γ * log(p_t)，γ = 1.5 でチューニング。
• クラス不均衡補正とハードサンプル注目を1つの微分可能な損失関数に統合し、エンドツーエンド学習を可能にする。
• 標準的なバックプロパゲーションを用いてLMFLOSSを目的関数として使用し、3つの実世界の医療画像データセットで評価した。

実験結果

リサーチクエスチョン

• RQ1 クラス分布とサンプル難易度を同時にモデル化するハイブリッド損失関数が、不均衡な医療画像分類において既存の損失関数を上回ることができるか？
• RQ2 LMFLOSSは、非常に少ない訓練サンプルを持つマイノリティクラスにおいて、マクロ-F1スコアをどの程度向上させるか？
• RQ3 多様な医療画像ドメインにおいて、LMFLOSSはフォーカル損失やLDAM損失と比較して、汎化性能とロバスト性に優れているか？
• RQ4 LMFLOSSは、マジョリティクラスの性能を維持したまま、マイノリティクラスの検出を顕著に向上させるか？
• RQ5 LMFLOSSは、希少疾患のための最小限の訓練データでも、高い分類性能を達成できるか？

主な発見

• ODIR-5Kデータセットでは、EfficientNetV2およびResNet50を用いた場合、LMFLOSSは交差エントロピーおよび他のベースラインと比較して、マクロ-F1を2.5%以上向上させた。
• HAM-10Kデータセットでは、LMFLOSSはマクロ-F1で3%の性能向上を達成し、わずか81個の訓練サンプルしかない最も希少なクラス（DF）では9%の向上を示した。
• ISIC-2019データセットでは、ResNet50を用いた場合、LMFLOSSはベースライン比でマクロ-F1を10%向上させ、EfficientNetV2を用いた場合も5%の向上を達成した。
• ODIR-5Kの最も希少なクラス（Hクラス、90サンプル）において、LMFLOSSはマクロ-F1 28.57%を達成し、他の手法を顕著に上回った。
• Grad-CAMの可視化により、LMFLOSSで学習されたモデルが病変領域により正確に注目していることが確認され、注意の集中と解釈可能性が向上していることが示された。
• すべての指標（正解率、適合率、再現率、F1）において、LMFLOSSは3つのデータセットすべてで交差エントロピー、フォーカル損失、LDAMを上回った。