[論文レビュー] Heterogeneity Loss to Handle Intersubject and Intrasubject Variability in Cancer

Shubham Goswami, Suril Mehta+3 more|arXiv (Cornell University)|Mar 6, 2020

Digital Imaging for Blood Diseases被引用数 11

ひとこと要約

本稿では、深層学習を用いたB細胞急性リンパ球性白血病（B-ALL）診断における被験者間および被験者内ばらつきに対処するため、非均一性損失関数と新規アンサンブル戦略を提案する。被験者レベルの特徴正則化と信頼度ベースの投票アンサンブルを組み合わせることで、C-NMC 2019テストセットにおいて95.26%という最先端の加重F1スコアを達成し、同じベンチマークで先行手法を上回った。

ABSTRACT

Developing nations lack adequate number of hospitals with modern equipment and skilled doctors. Hence, a significant proportion of these nations' population, particularly in rural areas, is not able to avail specialized and timely healthcare facilities. In recent years, deep learning (DL) models, a class of artificial intelligence (AI) methods, have shown impressive results in medical domain. These AI methods can provide immense support to developing nations as affordable healthcare solutions. This work is focused on one such application of blood cancer diagnosis. However, there are some challenges to DL models in cancer research because of the unavailability of a large data for adequate training and the difficulty of capturing heterogeneity in data at different levels ranging from acquisition characteristics, session, to subject-level (within subjects and across subjects). These challenges render DL models prone to overfitting and hence, models lack generalization on prospective subjects' data. In this work, we address these problems in the application of B-cell Acute Lymphoblastic Leukemia (B-ALL) diagnosis using deep learning. We propose heterogeneity loss that captures subject-level heterogeneity, thereby, forcing the neural network to learn subject-independent features. We also propose an unorthodox ensemble strategy that helps us in providing improved classification over models trained on 7-folds giving a weighted-$F_1$ score of 95.26% on unseen (test) subjects' data that are, so far, the best results on the C-NMC 2019 dataset for B-ALL classification.

研究の動機と目的

• B-ALL医療画像データセットにおける被験者間および被験者内ばらつきに対処し、深層学習モデルの一般化性能を向上させること。
• 新規の損失関数を用いて被験者に依存しない特徴を学習することで、未観測被験者に対するモデルの一般化性能を向上させること。
• 不均衡で被験者に多様性のあるデータに対して分類性能を向上させる、耐性のあるアンサンブル戦略を開発すること。
• 特に未観測被験者からのテストデータにおいて、C-NMC 2019 B-ALL分類ベンチマークで最先端の性能を達成すること。

提案手法

• 被験者レベルおよびクラスレベルの特徴バイアスに対する正則化を目的とした非均一性損失関数 $\mathcal{L}_H = \mathcal{L}_{CE} + \mathcal{L}_{C_{\text{subject}}} + \mathcal{L}_{C_{\text{class}}} + \mathcal{L}_{C_{\text{subject-class}}}$ を提案する。
• 同じ被騟能者からの画像間の特徴分散を最小化する $\mathcal{L}_{C_{\text{subject}}}$ を導入し、被験者に依存しない表現を促進する。
• 訓練とテスト被験者の間のデータ漏洩を回避するため、被験者レベルの7分割交差検証分割を用いて7つのInception-v3モデルを訓練する。
• ハイブリッドアンサンブル戦略を採用：高信頼度予測（しきい値 $\theta \geq 0.90$）には最大投票を、低信頼度予測には調和平均投票を適用し、耐性を向上させる。
• T-SNE可視化と収束プロットを用いて、損失関数が分離可能でクラス判別性の高い特徴を学習する有効性を検証する。
• 色のばらつきを正規化するための染色脱成分化を適用し、実世界の展開を模擬するため、被験者レベルの訓練・テスト分割のみを用いる。

実験結果

リサーチクエスチョン

• RQ1 被験者レベルのばらつきを明示的にモデル化する損失関数は、B-ALL分類における一般化性能の向上に寄与するか？
• RQ2 損失関数に被験者内および被験者間ばらつきを組み込むと、未観測被験者に対するモデル性能にどのような影響を与えるか？
• RQ3 最大投票と調和平均投票を組み合わせたハイブリッドアンサンブル戦略は、不均衡で被験者に多様性のあるデータにおいて、耐性とF1スコアの向上に寄与するか？
• RQ4 画像レベルではなく被験者レベルで訓練および評価することで、医療画像分類における一般化性能が向上するか？

主な発見

• 提案された非均一性損失関数は、被験者固有の特徴への過学習を低減することで、モデルの一般化性能を顕著に向上させる。
• ハイブリッドアンサンブル戦略は、C-NMC 2019最終テストセットで加重F1スコア95.26%を達成し、これまで報告された最高スコアである。
• 本手法は、ResNet、DenseNet、アンサンブルアーキテクチャを用いた先行の最先端モデルを、同じベンチマークで上回った。
• 損失関数に $\mathcal{L}_{C_{\text{subject}}}$ を組み込むことで、標準的な交差エントロピー損失と比較して加重F1スコアが4.3%向上した。
• T-SNE可視化により、非均一性損失を用いることで、より判別性が高く分離可能な特徴をモデルが学習することが確認された。
• 未観測被験者への一般化が効果的に実現されており、7分割交差検証の各セットおよび最終テストセットにおいて一貫した性能を示した。