[論文レビュー] Classification of Medical Images and Illustrations in the Biomedical Literature Using Synergic Deep Learning

Jianpeng Zhang, Yong Xia+2 more|arXiv (Cornell University)|Jun 28, 2017

AI in cancer detection参考文献 7被引用数 29

ひとこと要約

本稿では、医療画像および生物医学文献内の図版の分類を向上させるために、二重の深層畳み込みニューラルネットワークと協調的信号システムを組み合わせた協調的深層学習（SDL）モデルを提案する。画像ペアからの共同学習と、誤分類ペアに対する是正フィードバックを活用することで、ImageCLEF2016ベンチマークでSOTAの86.58%の精度を達成し、以前の最高手法を上回った。

ABSTRACT

The Classification of medical images and illustrations in the literature aims to label a medical image according to the modality it was produced or label an illustration according to its production attributes. It is an essential and challenging research hotspot in the area of automated literature review, retrieval and mining. The significant intra-class variation and inter-class similarity caused by the diverse imaging modalities and various illustration types brings a great deal of difficulties to the problem. In this paper, we propose a synergic deep learning (SDL) model to address this issue. Specifically, a dual deep convolutional neural network with a synergic signal system is designed to mutually learn image representation. The synergic signal is used to verify whether the input image pair belongs to the same category and to give the corrective feedback if a synergic error exists. Our SDL model can be trained 'end to end'. In the test phase, the class label of an input can be predicted by averaging the likelihood probabilities obtained by two convolutional neural network components. Experimental results on the ImageCLEF2016 Subfigure Classification Challenge suggest that our proposed SDL model achieves the state-of-the art performance in this medical image classification problem and its accuracy is higher than that of the first place solution on the Challenge leader board so far.

研究の動機と目的

• 医療画像および生物医学文献内の図版の分類という課題に取り組む。ここには、クラス内変動の高さとクラス間類似性が、正確な分類を困難にしている。
• 二つのニューラルネットワーク間の相互監視を活用することで、表現学習を向上させる深層学習モデルを開発すること。
• 視覚的に似ているが意味的に異なる画像（例：CTとMR脳画像）の誤分類を、カテゴリの一貫性を検証する協調的信号システムにより低減すること。
• 小規模で不均衡な医療画像データセットにおいて、一般化性能を向上させるエンドツーエンドの訓練を達成すること。

提案手法

• モデルは、同じ訓練バッチからの画像ペアを処理する二重のResNet-50ベースのネットワークを備えた二重DCNNアーキテクチャを採用する。
• 協調的信号システムを導入し、入力画像ペアが同じカテゴリに属するかどうかを検証する。不一致が検出された場合には是正フィードバックを提供する。
• 協調的信号は、特徴表現の精錬と、紛らわしいサンプル間の識別性能の向上を図るために、訓練中に監視信号として用いられる。
• 推論時には、両方のDCNNコンponentからの尤度確率を平均化して分類予測を生成することで、耐障害性と精度を向上させる。
• 分類用の交差エントロピー損失と、協調的信号用のコントラスト損失を組み合わせた損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 本手法は、任意の事前学習済み深層ニューラルネットワークアーキテクチャと互換性があり、ResNet-152のようなより深いモデルとの統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 二重DCNNに協調的信号システムを組み合わせることで、クラス内変動が大きく、クラス間類似性の高い医療画像の分類性能が向上するか？
• RQ2 協調的信号メカニズムは、視覚的に似ているが意味的に異なる画像（例：脳CT対脳MR画像）を区別する能力をどのように向上させるか？
• RQ3 相互フィードバックを備えた二つのDCNNのアンサンブルは、ImageCLEF2016のサブ図版分類タスクにおいて、従来の単一ネットワークまたはアンサンブルベースの手法を上回る性能を示すか？
• RQ4 提案されたSDLモデルは、多様な医療画像モodalitiesおよび図版タイプにどの程度一般化可能か？

主な発見

• 提案されたSDLモデルは、ImageCLEF2016サブ図版分類チャレンジデータセットでテスト精度86.58%を達成し、提出時の第一位の手法を上回った。
• SDLモデル内の個々のDCNNコンponentは、同じデータセットで微調整した場合、標準のResNet-50モデルと比較して2%以上の精度向上を達成した。
• モデルはほとんどのカテゴリで一貫した性能向上を示し、16クラス中12クラスでFスコアの向上が観察された。
• 混同行列からは、主要および次要なカテゴリすべてで高い分類精度が得られており、不均衡データに対する強い一般化能力が示された。
• 協調的信号システムにより、脳CT対脳MR画像のような曖昧なペアの誤分類が効果的に低減された。これは、訓練中にカテゴリの一貫性を強制することで実現された。
• モデルの性能は頑健でスケーラブルであり、ResNet-152のようなより深いアーキテクチャと組み合わせることでさらなる向上が期待できる。