[論文レビュー] Deep Lesion Graphs in the Wild: Relationship Learning and Organization of Significant Radiology Image Findings in a Diverse Large-scale Lesion Database

Ke Yan, Xiaosong Wang+5 more|arXiv (Cornell University)|Nov 28, 2017

AI in cancer detection被引用数 17

ひとこと要約

本論文では、4,427名の患者から得た32,120個の病変を含む大規模かつ多様なCT病変データセットDeepLesionを紹介し、病変の種類、位置、サイズの手がかりを用いて弱教師付きの深層学習フレームワークを提案して病変埋め込みを学習する。順序付きサンプリングと自己教師付き身体部位回帰を組み合わせたトリプルットネットワークを活用することで、コンテンツベースの病変検索および患者内病変マッチングにおいて最先端の性能を達成し、明示的なアノテーションなしで意味的に類似する病変を発見可能となる。

ABSTRACT

Radiologists in their daily work routinely find and annotate significant abnormalities on a large number of radiology images. Such abnormalities, or lesions, have collected over years and stored in hospitals' picture archiving and communication systems. However, they are basically unsorted and lack semantic annotations like type and location. In this paper, we aim to organize and explore them by learning a deep feature representation for each lesion. A large-scale and comprehensive dataset, DeepLesion, is introduced for this task. DeepLesion contains bounding boxes and size measurements of over 32K lesions. To model their similarity relationship, we leverage multiple supervision information including types, self-supervised location coordinates and sizes. They require little manual annotation effort but describe useful attributes of the lesions. Then, a triplet network is utilized to learn lesion embeddings with a sequential sampling strategy to depict their hierarchical similarity structure. Experiments show promising qualitative and quantitative results on lesion retrieval, clustering, and classification. The learned embeddings can be further employed to build a lesion graph for various clinically useful applications. We propose algorithms for intra-patient lesion matching and missing annotation mining. Experimental results validate their effectiveness.

研究の動機と目的

• 病理的PACSシステムに保存された意味的アノテーションのない、非構造的で大規模なレントゲン病変データを整理・探索すること。
• 臨床ワークフローにおける既存の放射線科マーク（種類、サイズ、位置）を弱教師付きで活用することで、手作業によるアノテーションの負担を軽減すること。
• 病変種類、解剖学的部位、サイズの階層的類似性を保持する意味のある病変埋め込みを学習すること。
• 患者間でのコンテンツベース病変検索および縦断的疾患追跡のための患者内病変マッチングを可能にすること。
• 自己教師付きおよび弱教師付き表現を用いて、臨床応用用の病変グラフを構築すること。

提案手法

• PACSから得たデータセットとして、10,594件の検査および4,427名の患者から成る32,120枚の軸方向CTスライス（バウンディングボックスおよびサイズ測定値付加）を構築。
• 小さなシードサンプルからの擬似ラベル割り当てを用いて、全データセットに病変種類ラベルを伝搬。
• ラベルなしCTボリュームを用いて、アノテーションなしで3次元相対的身体部位位置（z座標）を予測する自己教師付き身体部位回帰器（SSBR）を採用。
• 病変種類、自己教師付き位置、測定サイズの階層的組み合わせを用いて類似度を定義。
• 種類、位置、サイズの組み合わせ類似度を反映する病変埋め込みを学習するため、順序付きサンプリング戦略を用いたトリプルットネットワークを訓練。
• 病変の詳細と文脈の両方を捉えるためにマルチスケール・マルチクロップアーキテクチャを採用し、反復的リファインメントによりノイズの多い擬似ラベルを改善。

実験結果

リサーチクエスチョン

• RQ1 日常的な放射線科マーク（種類、サイズ、位置）からの弱教師付き学習が、広範な手作業アノテーションなしで意味のある病変埋め込みを学習するために効果的に活用可能か？
• RQ2 深層埋め込みモデルが病変種類、解剖学的部位、サイズの階層的類似性を学習し、コンテンツベース病変検索を支援できるか？
• RQ3 学習された埋め込みが、疾患進行追跡のための複数のCT検査にわたる患者内病変マッチングを正確に可能にするか？
• RQ4 モデルが、トレーニング時に明示的にラベル付けされていない異なる身体構造における意味的に類似する病変を発見できるか？
• RQ5 自己教師付き身体部位回帰器が、ラベルなしCTボリュームから解剖学的位置を推定するのにどの程度効果的か？

主な発見

• 自己教師付き身体部位回帰器（SSBR）は、18,195枚のラベルなしスライスから成るテストセットで分類精度95.99％を達成し、主に曖昧な解剖学的境界で誤差が生じた。
• 学習された埋め込みを用いたコンテンツベース病変検索は、種類・位置・サイズが類似する病変を効果的に検索でき、ラベルなしの身体部位でも意味的に類似する病変の検出に成功した。
• 本手法は、病変グラフと提案アルゴリズムを用いて、複数のCT検査にわたる病変の順序を正確に再構築するという点で優れた性能を示した。
• 順序付きサンプリングを用いたトリプルットネットワークは、階層的類似性を保持する埋め込みを学習し、病変の有効なクラスタリングと分類を可能にした。
• 本フレームワークは、病変検索、クラスタリング、分類において、定量的・定性的に有望な結果を達成したが、主な失敗要因は病変種類の誤分類であった。
• 埋め込みから構築した病変グラフは、縦断的病変追跡やケースベース推論といった臨床的応用に役立つものであった。