[論文レビュー] Chest X-rays Classification: A Multi-Label and Fine-Grained Problem

Zongyuan Ge, Dwarikanath Mahapatra+3 more|arXiv (Cornell University)|Jul 19, 2018

COVID-19 diagnosis using AI参考文献 11被引用数 28

ひとこと要約

本稿では、胸部X線画像分類におけるマルチラベル、微細な分類、クラス不均衡の課題に取り組むために、新規のマルチラベルソフトマックス損失（MSML）を提案する。双方向プーリングを用いた微細な特徴学習フレームワークと組み合わせることで、ChestX-ray14データセットにおいて0.8537のAUC-ROCスコアを達成し、DenseNet-121を含む既存のモデルを上回った。

ABSTRACT

The widely used ChestX-ray14 dataset addresses an important medical image classification problem and has the following caveats: 1) many lung pathologies are visually similar, 2) a variant of diseases including lung cancer, tuberculosis, and pneumonia are present in a single scan, i.e. multiple labels and 3) The incidence of healthy images is much larger than diseased samples, creating imbalanced data. These properties are common in medical domain. Existing literature uses stateof- the-art DensetNet/Resnet models being transfer learned where output neurons of the networks are trained for individual diseases to cater for multiple diseases labels in each image. However, most of them don't consider relationship between multiple classes. In this work we have proposed a novel error function, Multi-label Softmax Loss (MSML), to specifically address the properties of multiple labels and imbalanced data. Moreover, we have designed deep network architecture based on fine-grained classification concept that incorporates MSML. We have evaluated our proposed method on various network backbones and showed consistent performance improvements of AUC-ROC scores on the ChestX-ray14 dataset. The proposed error function provides a new method to gain improved performance across wider medical datasets.

研究の動機と目的

• 胸部X線画像分類におけるマルチラベル、微細な分類、クラス不均衡の性質に取り組む。
• 標準的な転移学習と二値クロスエントロピーを用いた場合に比べ、ChestX-ray14データセットにおけるディープラーニングの性能を向上させる。
• ラベル相関を明示的にモデリングし、負のクラスへの過学習を抑制する損失関数を開発する。
• MSMLと双方向プーリングを組み合わせた場合、小型アーキテクチャ（例：ResNet-18）が大型アーキテクチャ（例：DenseNet-121）を上回ることを示す。
• 同様のデータ特性を示す幅広い医療画像処理タスクに適用可能な新しい学習メカニズムを提供する。

提案手法

• ラベル依存性を正のラベルに対して全負のラベルの上でのソフトマックスを計算することでモデリングする、新規の誤差関数であるマルチラベルソフトマックス損失（MSML）を提案する。
• MSMLは $ E^{MSML} = \frac{1}{|Y_i|} \sum_{l \in Y_i} \frac{\exp(x_l^i)}{\exp(x_l^i) + \sum_{k \in \bar{Y}_i} \exp(x_k^i)} $ で定義され、$ Y_i $ はサンプル $ i $ の正のラベルの集合を表す。
• 視覚的に類似した病変の特徴を強化するため、微細分類における双方向プーリングを統合して、判別性の高い特徴学習を促進する。
• 共有された特徴抽出器と双方向融合を備えた二ストリームネットワークアーキテクチャを採用し、クラス間の関係をモデリングする。
• すべてのコンponents（特徴抽出器、MSMLヘッド）を同時に最適化するグローバルトレーニング戦略を採用する。
• 最終層でシグモイド活性化関数とMSMLを組み合わせることで、補正された出力を得るマルチラベル予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的にラベル相関をモデリングする新規な損失関数は、標準的な二値クロスエントロピーを上回るマルチラベル胸部X線画像分類を実現できるか？
• RQ2 微細な特徴学習技術を統合することで、視覚的に類似した肺疾患に対する性能が向上するか？
• RQ3 提案されたMSMLと双方向プーリングを用いた場合、ResNet-18のような軽量モデルがDenseNet-121のような大型モデルを上回るか？
• RQ4 マルチ損失学習における医療画像処理において、グローバルトレーニング戦略はローカルまたは固定ファインチューニング戦略に比べて優れているか？
• RQ5 MSMLは、医療画像データセットにおけるクラス不均衡と負のラベルへの過学習をどの程度軽減できるか？

主な発見

• 提案手法は、DenseNet-121バックボーンを用いてChestX-ray14データセットでAUC-ROCスコア0.8537を達成し、以前の最先端の0.8413を上回った。
• 小型のResNet-18バックボーンを用いても、AUCが0.8438に達し、より大きなDenseNet-121ベースラインを上回った。
• グローバルトレーニング戦略が最良のパフォーマンス（AUC 0.8388）を示し、ローカルおよび固定ファインチューニング戦略を上回った。
• MSMLはW-AUCおよびD-AUCスコアを顕著に向上させ、少数派および困難なクラスにおける性能向上を示した。
• 双方向プーリングとMSMLの組み合わせにより、標準的な転移学習に比べてAUCが1.5%向上した。
• MSMLに内蔵されたルート付きソフトマックス機構により、欠落しているラベルを基準にした正規化がなされるため、負のクラスへの過学習が効果的に抑制された。