[論文レビュー] How Transferable Are Self-supervised Features in Medical Image Classification Tasks?

Tuan Truong, Sadegh Mohammadi+1 more|arXiv (Cornell University)|Aug 23, 2021

COVID-19 diagnosis using AI参考文献 11被引用数 12

ひとこと要約

本論文は、医療画像分類における転移学習の文脈で、自己教師あり ImageNet プリトレーニング手法（SimCLR、SwAV、DINO）を評価し、特に低データ環境下において DINO 特徴量が教師ありおよび他の自己教師ありベースラインを上回ることを示している。本研究では、複数のプリトレーニング済み特徴量を統合するモデルに依存しない融合手法である Dynamic Visual Meta-Embedding（DVME）を提案し、自己注意機構を用いて特徴量の寄与度を動的に重み付けすることで、4つの多様な医療画像認識タスクで最先端の性能を達成した。

ABSTRACT

Transfer learning has become a standard practice to mitigate the lack of labeled data in medical classification tasks. Whereas finetuning a downstream task using supervised ImageNet pretrained features is straightforward and extensively investigated in many works, there is little study on the usefulness of self-supervised pretraining. In this paper, we assess the transferability of ImageNet self-supervisedpretraining by evaluating the performance of models initialized with pretrained features from three self-supervised techniques (SimCLR, SwAV, and DINO) on selected medical classification tasks. The chosen tasks cover tumor detection in sentinel axillary lymph node images, diabetic retinopathy classification in fundus images, and multiple pathological condition classification in chest X-ray images. We demonstrate that self-supervised pretrained models yield richer embeddings than their supervised counterpart, which benefits downstream tasks in view of both linear evaluation and finetuning. For example, in view of linear evaluation at acritically small subset of the data, we see an improvement up to 14.79% in Kappa score in the diabetic retinopathy classification task, 5.4% in AUC in the tumor classification task, 7.03% AUC in the pneumonia detection, and 9.4% in AUC in the detection of pathological conditions in chest X-ray. In addition, we introduce Dynamic Visual Meta-Embedding (DVME) as an end-to-end transfer learning approach that fuses pretrained embeddings from multiple models. We show that the collective representation obtained by DVME leads to a significant improvement in the performance of selected tasks compared to using a single pretrained model approach and can be generalized to any combination of pretrained models.

研究の動機と目的

• 低データ環境下における自己教師あり ImageNet 特徴量の転送可能性を評価すること。
• 最先端の自己教師ありモデル（SimCLR、SwAV、DINO）を教師あり ImageNet プリトレーニングと比較して性能を検証すること。
• 複数のプリトレーニング済み特徴量を統合することで、医療画像分野における下流タスクの性能向上が達成できるかを調査すること。
• モデルに依存しない統合手法である Dynamic Visual Meta-Embedding（DVME）を提案・検証し、医療ビジョン分野における転移学習の性能向上を図ること。

提案手法

• 4つの医療画像タスクにおいて、教師ありおよび自己教師あり ImageNet モデルから得た固定特徴量を用いた線形評価および微調整を実施。
• Dynamic Visual Meta-Embedding（DVME）を適用し、複数のプリトレーニング済みモデルの特徴量を連結し、学習可能な自己注意層を用いて寄与度を動的に重み付けする。
• バックボーンモデルを微調整せずに、固定された特徴抽出器の上にのみメタ埋め込みヘッドを訓練することで、エンドツーエンドの転移学習を実現。
• t-SNE 視覚化と注目マトリクス解析を用いて、統合された表現の解釈性を評価し、特徴量の補完性を検証。
• DVMEにおける自己注意の寄与度を評価するためのアブレーションスタディを実施し、非注目融合ベースラインと比較。
• 各タスクの小規模（S）、中規模（M）、全データ（F）サブセットに対して、標準指標（AUC、カッパスコア、正答率）を用いて評価。

実験結果

リサーチクエスチョン

• RQ1 低データ環境下における医療画像分類タスクにおいて、自己教師あり ImageNet 特徴量は教師あり特徴量に比べてどれほど転送可能か？
• RQ2 SimCLR、SwAV、DINO のうち、どの自己教師ありプリトレーニング手法が多様な医療画像認識タスクにおいて最も転送可能な特徴量を生成するか？
• RQ3 メタ埋め込みアプローチを用いて複数のプリトレーニング済み特徴量を統合することで、最良の単一モデルベースラインを上回る下流タスクの性能向上が達成できるか？
• RQ4 DVME における自己注意機構は、単純な連結や固定重み付けと比較して、性能向上にどのように寄与しているか？

主な発見

• DINO 特徴量は大多数のタスクで最高の性能を示し、特に低データ環境下で教師ありおよび他の自己教師ありベースラインを上回った。
• 線形評価では、DINO が胸部X線画像における病態検出で AUC を 9.4% 向上させ、1% のデータでの糖尿病網膜症分類ではカッパスコアを 14.79% 向上させた。
• DVME は、小規模データサブタスクの4つ中4つ、中規模データサブタスクの4つ中3つ、全データサブタスクの4つ中2つで、最良の単一モデルベースラインを上回った。
• APTOS 糖尿病網膜症データセットでは、小規模および中規模データ設定において、DVME が最良の単一モデルベースラインよりもカッパスコアで 6% 向上した。
• DVME における自己注意機構は顕著な性能向上をもたらし、APTOS サブタスク全体でカッパスコアが 4.4% から 5.6% 向上した。これは、補完的特徴量を効果的に動的に重み付けできていることを示している。
• t-SNE 視覚化により、DVME の埋め込み表現が特にマルチクラス設定でより分離されたクラスタを形成していることが確認され、優れた表現品質を裏付けた。