[論文レビュー] A Multi-Stage Attentive Transfer Learning Framework for Improving COVID-19 Diagnosis

Yi Liu, Shuiwang Ji|arXiv (Cornell University)|Jan 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 6

ひとこと要約

本稿では、自然画像および医療画像における教師ありおよび自己教師あり事前学習を活用することで、胸郭CTスキャンからのCOVID-19診断を向上させる、マルチステージのアテンション特徴抽出転移学習フレームワークを提案する。本研究では、肺の亜構造を強調する新規の自己教師あり手法を提案している。結果として、アテンション機構が畳み込み層よりも顕著に高い転送性を示し、ResNet-50およびResNet-101モデルのあらゆる指標において性能向上が見られた。

ABSTRACT

Computed tomography (CT) imaging is a promising approach to diagnosing the COVID-19. Machine learning methods can be employed to train models from labeled CT images and predict whether a case is positive or negative. However, there exists no publicly-available and large-scale CT data to train accurate models. In this work, we propose a multi-stage attentive transfer learning framework for improving COVID-19 diagnosis. Our proposed framework consists of three stages to train accurate diagnosis models through learning knowledge from multiple source tasks and data of different domains. Importantly, we propose a novel self-supervised learning method to learn multi-scale representations for lung CT images. Our method captures semantic information from the whole lung and highlights the functionality of each lung region for better representation learning. The method is then integrated to the last stage of the proposed transfer learning framework to reuse the complex patterns learned from the same CT images. We use a base model integrating self-attention (ATTNs) and convolutional operations. Experimental results show that networks with ATTNs induce greater performance improvement through transfer learning than networks without ATTNs. This indicates attention exhibits higher transferability than convolution. Our results also show that the proposed self-supervised learning method outperforms several baseline methods.

研究の動機と目的

• COVID-19診断における正確なディープラーニングモデルを訓練するためのラベル付きCTデータが限られているという深刻な課題に対処すること。
• 転移学習における医療画像診断において、アテンション機構が畳み込み層よりも知識をより効果的に転送するかを調査すること。
• 多スケールの肺領域表現を捉えるために、肺の亜構造の生物学的知識を活用する新規の自己教師あり学習手法を開発すること。
• 自然画像、医療画像、同じCTデータを含む多様なデータドメインにおける教師ありおよび自己教師あり事前学習を統合した、統一的でマルチステージの転移学習フレームワークを設計すること。
• アテンション強化ネットワークが、ソースタスクからCOVID-19診断というターゲットタスクへの知識転送において有効であることを実証すること。

提案手法

• フレームワークは3段階から構成される：自然画像からの教師あり転移学習（STL-N）、医療画像からの教師あり転移学習（STL-M）、同じCT画像からの自己教師あり転移学習（SSTL-M）。
• 肺の亜構造に関する生物学的知識を活用することで、多スケールの表現を学習する新規の自己教師あり手法を提案し、全体的な肺構造と局所的な機能的情報を両方捉える。
• ResNetアーキテクチャに自己アテンションモジュール（ATTNs）を統合し、転移学習におけるアテンション層と畳み込み層の転送性を比較する。
• 畳み込み演算と自己アテンションを組み合わせたベースモデルを用いて階層的特徴を抽出し、解釈可能性を高めるためにGrad-CAMを用いてアテンションマップを可視化する。
• 段階的な転移学習を実施：まずSTL-NおよびSTL-Mで事前学習を行い、次にターゲットのCOVID-19診断タスクで微調整する。
• 転送性を定量的に評価するため、異なるネットワークバリアントにおける各事前学習段階の性能向上を比較するためにLEEPスコアを計算する。

実験結果

リサーチクエスチョン

• RQ1 医療画像診断における転移学習において、アテンションベースの特徴学習は畳み込み特徴学習よりも効果的に知識を転送するか？
• RQ2 肺の亜構造の機能性に焦点を当てた自己教師あり手法は、リソースが限られたCTデータセットにおける表現学習を向上させることができるか？
• RQ3 自然画像、医療画像、自己教師ありCTデータを用いたマルチステージの転移学習は、最終的な診断性能にどのように影響を与えるか？
• RQ4 標準的な畳み込み層と比較して、アテンション層はCTスキャンにおける感染部位の検出をどの程度向上させるか？
• RQ5 アテンション層による性能向上は、異なるネットワークの深さや事前学習戦略の文脈でも一貫しているか？

主な発見

• 自己アテンション層（ATTNs）を備えたネットワークは、標準的なResNetsと比較して、転移学習による性能向上が顕著に高い。STL-M段階で1つのATTNを追加した場合、ResNet-50ではF1スコアが4.7%向上した。
• ResNet-50では、5つのATTNを追加することで、STL-N段階の精度が2.8%、F1スコアが4.7%、AUCが1.5%向上し、指標全体にわたり一貫した向上が確認された。
• 提案された自己教師あり学習手法は、肺CT画像における表現学習の分野で、複数の最先端のベースラインを上回り、より優れた下流診断を可能にした。
• Grad-CAMを用いた定性的な結果から、アテンション層はCTスキャンにおける重度に感染した領域を的確に強調しているのに対し、畳み込み層はときとして非感染領域に重要性を誤って割り当てる場合がある。
• LEEPスコア分析により、アテンション機構が、ソースとターゲットデータ間の分布的差異に関係なく、転移学習の各段階でより大きな性能向上をもたらすことが確認された。
• 本研究は、医療画像解析における転移学習において、アテンション機構が畳み込み層よりも高い転送性を示すという、最初の実証的証拠を提供した。