[論文レビュー] Context Matters: Graph-based Self-supervised Representation Learning for Medical Images

Li Sun, Ke Yu+1 more|arXiv (Cornell University)|Dec 11, 2020

COVID-19 diagnosis using AI参考文献 11被引用数 10

ひとこと要約

本論文は、ボリュメトリック医療画像の自己教師あり表現学習手法を提案し、画像アトラスとグラフ畳み込みネットワーク（GCN）を用いて、局所的特徴と患者レベルの特徴を統合する階層的フレームワークにより解剖学的文脈を組み込む。局所的特徴と患者レベルの対照的学習を組み合わせることで、ゼロショットおよびフェイシュートCOVID-19ステージングにおいて最先端の性能を達成し、外部のCOVID-19データセットで96.3%の精度を示し、教師ありおよび自己教師ありのベースラインを上回った。

ABSTRACT

Supervised learning method requires a large volume of annotated datasets. Collecting such datasets is time-consuming and expensive. Until now, very few annotated COVID-19 imaging datasets are available. Although self-supervised learning enables us to bootstrap the training by exploiting unlabeled data, the generic self-supervised methods for natural images do not sufficiently incorporate the context. For medical images, a desirable method should be sensitive enough to detect deviation from normal-appearing tissue of each anatomical region; here, anatomy is the context. We introduce a novel approach with two levels of self-supervised representation learning objectives: one on the regional anatomical level and another on the patient-level. We use graph neural networks to incorporate the relationship between different anatomical regions. The structure of the graph is informed by anatomical correspondences between each patient and an anatomical atlas. In addition, the graph representation has the advantage of handling any arbitrarily sized image in full resolution. Experiments on large-scale Computer Tomography (CT) datasets of lung images show that our approach compares favorably to baseline methods that do not account for the context. We use the learnt embedding to quantify the clinical progression of COVID-19 and show that our method generalizes well to COVID-19 patients from different hospitals. Qualitative results suggest that our model can identify clinically relevant regions in the images.

研究の動機と目的

• 新興疾患（例：COVID-19）のための大きなスケールのアノテート済み医療画像データセットが不足している問題に対処するため、豊富なラベルなしデータを用いた自己教師あり事前学習を可能にする。
• 局所的テクスチャ特徴を超えて、解剖学的領域間の空間的関係を組み込むことで、医療画像における表現学習を向上させる。
• リサイズやクロップによる情報損失を回避するため、任意のサイズの3D医療画像をフル解像度そのままで処理できる手法を開発する。
• 勾配ベースのサリエンシー法により、臨床的に関連する領域（例：グランドグラスエフェメラ）を強調するタスク固有の活性化ヒートマップを生成することで、予測の解釈可能性を実現する。
• 異なる病院での画像プロトコルにかかわらず、COVID-19重症度分類などの下流タスクへの一般化能力を実証する。

提案手法

• 3D医療画像を、画像-アトラス登録から得られる解剖学的ランドマークを中心に配置した画像パッチのグラフとして表現する。
• 条件付きエンコーダーが、アトラスからの解剖学的位置を条件として、パッチレベルでの局所的テクスチャ特徴を抽出する。
• グラフ畳み込みネットワーク（GCN）がパッチ間の特徴を集約し、空間的および解剖学的対応に基づいた領域間の関係をモデル化する。
• 2段階の自己教師あり目的関数を用いる：パッチレベルでの対照的学習と、グローバルな文脈を捉えるための患者レベルのグラフレベル対照的学習。
• 階層的アーキテクチャにより、リサイズやクロップを伴わずフル解像度での処理が可能となり、空間的忠実性が保持される。
• 勾配ベースのサリエンシー法により、臨床的に関連する領域（例：グランドグラスエフェメラ）と一致する活性化ヒートマップを生成することで、モデルの解釈可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造的表現による解剖学的文脈の組み込みは、ボリュメトリック医療画像における自己教師あり表現学習を改善するか？
• RQ2 マルチスケールでフル解像度で学習するフレームワークは、リサイズやクロップを必要とする標準的なCNNベースの手法を上回るか？
• RQ3 大規模なラベルなしCOPDまたはMosMed CTデータセットで事前学習した特徴は、COVID-19重症度分類などの下流タスクに効果的に一般化できるか？
• RQ4 学習された表現は、COVID-19患者のグランドグラスエフェメラなどの臨床的に関連する領域を正しく特定するか？
• RQ5 異なる病院や画像プロトコルに対しても、モデルの性能は安定しているか？

主な発見

• 提案手法は、MosMedデータセットで事前学習した特徴を用いて外部COVID-19CTデータセットで微調整した結果、96.3%のテスト精度を達成し、教師あり3D CNNを含むすべてのベースラインを上回った。
• COPDGeneデータセットで事前学習した特徴でも90.0%の精度を達成し、COVID-19病変に事前に露出していない状況でも強力な特徴の転送性を示した。
• 患者レベル特徴のUMAP可視化では、FEV1ppと明確な相関トレンドが観察され、学習された表現が疾患の重症度進行を反映していることが示された。
• COVID-19分類のための活性化ヒートマップは、CTスキャンの周辺グランドグラスエフェメラと重なっており、モデルが臨床的に関連する領域を正しく局在化できていることを確認した。
• アブレーションスタディにより、局所的解剖学的文脈と関係性を表すグラフ構造の両方が、表現品質の向上に顕著に寄与することが確認された。
• すべての評価指標において、MoCo、MedicalNet、ModelsGenesisを上回ったことから、優れた特徴品質と一般化能力を有していることが示された。