[論文レビュー] Self-supervised Learning of Pixel-wise Anatomical Embeddings in Radiological Images.

Ke Yan, Jinzheng Cai+8 more|arXiv (Cornell University)|Dec 4, 2020

Medical Imaging and Analysis参考文献 52被引用数 14

ひとこと要約

本稿では、自己教師あり対照的学習フレームワークである自己教師あり解剖的埋め込み（SAM）を提案する。この手法は、ラベルなし放射線画像からピクセル単位の解剖的埋め込みを生成し、多様なスキャンにおいて迅速かつ正確に身体部位を特定可能にする。SAMは最小限の教師ありデータで、顕著なランドマーク検出および病変マッチング性能を達成し、登録手法と比較して200倍高速であり、50枚のラベル付き画像で学習した教師ありモデルを上回る性能を示す。

ABSTRACT

Radiological images such as computed tomography (CT) and X-rays render anatomy with intrinsic structures. Being able to reliably locate the same anatomical or semantic structure across varying images is a fundamental task in medical image analysis. In principle it is possible to use landmark detection or semantic segmentation for this task, but to work well these require large numbers of labeled data for each anatomical structure and sub-structure of interest. A more universal approach would discover the intrinsic structure from unlabeled images. We introduce such an approach, called Self-supervised Anatomical eMbedding (SAM). SAM generates semantic embeddings for each image pixel that describes its anatomical location or body part. To produce such embeddings, we propose a pixel-level contrastive learning framework. A coarse-to-fine strategy ensures both global and local anatomical information are encoded. Negative sample selection strategies are designed to enhance the discriminability among different body parts. Using SAM, one can label any point of interest on a template image, and then locate the same body part in other images by simple nearest neighbor searching. We demonstrate the effectiveness of SAM in multiple tasks with 2D and 3D image modalities. On a chest CT dataset with 19 landmarks, SAM outperforms widely-used registration algorithms while being 200 times faster. On two X-ray datasets, SAM, with only one labeled template image, outperforms supervised methods trained on 50 labeled images. We also apply SAM on whole-body follow-up lesion matching in CT and obtain an accuracy of 91%.

研究の動機と目的

• 大規模なアノテート済みデータセットに依存せずに、医療画像における解剖的局所化の課題に対処すること。
• 自己教師あり表現学習を用いて、ラベルなし放射線画像から内在する解剖的構造を同定すること。
• 単一のラベル付きテンプレート画像のみを用いて、迅速かつ正確なスキャン間解剖的対応付けを実現する手法を開発すること。
• ランドマーク検出や病変追跡などの医療画像解析タスクの効率性と正確性を向上させること。
• 2次元および3次元モダリティ（特に胸部CTおよびX線スキャン）にわたる一般化性能を示すこと。

提案手法

• SAMは、ピクセルレベルでのグローバルおよびローカルな解剖的文脈を符号化するため、粗いから細かい特徴の学習戦略を採用する。
• 正例および負例のピクセルペアを対比することで、判別性の高い埋め込みを学習するピクセルレベルの対照的学習目的関数を用いる。
• 異なる解剖的構造間の区別を強化するために、特別に設計された負例サンプリング戦略を採用する。
• 画像パッチ同士を比較し、不変表現を学習するため、シアン型ネットワークアーキテクチャを活用する。
• ラベルなしデータ上で事前学習を終えた後、埋め込みを用いて最近傍探索を行い、テンプレート画像のラベルを新しいスキャンに転送する。
• フレームワークは、事前学習中に手動によるアノテーションが一切不要な、ラベルなし放射線画像上でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーションデータが一切ない状況下でも、自己教師あり対照的学習がピクセル単位の解剖的埋め込みを効果的に学習できるか？
• RQ2 解剖的ランドマーク局所化において、SAMは従来の画像登録手法と比較して正確性と推論速度の両面で優れているか？
• RQ3 SAMは、顕著に少ないラベル付き例で、教師ありモデルと同等の性能を達成できるか？
• RQ4 SAMは、2次元X線および3次元CTなど、異なる画像モダリティにわたってどれほど一般化できるか？
• RQ5 SAMは、フォローアップスキャンにおける全身病変マッチングといった複雑なタスクに効果的に応用できるか？

主な発見

• 19個のランドマークを含む胸部CTデータセットにおいて、SAMは広く使われている登録アルゴリズムを上回り、推論速度は200倍高速であった。
• 2つのX線データセットにおいて、SAMは1枚のラベル付きテンプレート画像のみを用いて、50枚のラベル付き画像で学習した教師ありモデルを上回る性能を達成した。
• フォローアップCTスキャンにおいて、全身病変マッチングで91%の正確性を達成し、複雑な臨床タスクへの強力な一般化性能を示した。
• 粗いから細かい戦略により、学習された埋め込みがグローバルな解剖的文脈と微細な構造的詳細の両方を効果的に捉えていた。
• 負例サンプリング戦略が、異なる解剖的領域間での埋め込みの判別性を顕著に向上させた。
• 本手法は2次元および3次元の画像モダリティにわたり、強力なモダリティ間一般化性能を示した。