[論文レビュー] Learning Semantics-enriched Representation via Self-discovery, Self-classification, and Self-restoration

Fatemeh Haghighi, Mohammad Reza Hosseinzadeh Taher+3 more|arXiv (Cornell University)|Jul 14, 2020

AI in cancer detection参考文献 23被引用数 7

ひとこと要約

本論文では、自己発見、自己分類、自己修復を通じて反復的解剖的パターンを活用することで、ラベルなし医療画像から意味的豊富な表現を自己教師ありで学習する、Semantic Genesisと呼ばれる自己教師あり3次元深層学習フレームワークを提案する。この手法は、CT、MRI、レントゲンの6つの医療画像タスクにおいて、すべての3次元自己教師ありおよび完全教師あり事前学習モデル、画像Netベースの転移学習を含めて、優れた性能を示した。

ABSTRACT

Medical images are naturally associated with rich semantics about the human anatomy, reflected in an abundance of recurring anatomical patterns, offering unique potential to foster deep semantic representation learning and yield semantically more powerful models for different medical applications. But how exactly such strong yet free semantics embedded in medical images can be harnessed for self-supervised learning remains largely unexplored. To this end, we train deep models to learn semantically enriched visual representation by self-discovery, self-classification, and self-restoration of the anatomy underneath medical images, resulting in a semantics-enriched, general-purpose, pre-trained 3D model, named Semantic Genesis. We examine our Semantic Genesis with all the publicly-available pre-trained models, by either self-supervision or fully supervision, on the six distinct target tasks, covering both classification and segmentation in various medical modalities (i.e.,CT, MRI, and X-ray). Our extensive experiments demonstrate that Semantic Genesis significantly exceeds all of its 3D counterparts as well as the de facto ImageNet-based transfer learning in 2D. This performance is attributed to our novel self-supervised learning framework, encouraging deep models to learn compelling semantic representation from abundant anatomical patterns resulting from consistent anatomies embedded in medical images. Code and pre-trained Semantic Genesis are available at https://github.com/JLiangLab/SemanticGenesis .

研究の動機と目的

• ラベルなし医療画像内に埋め込まれた豊富で無料の意味的特徴（反復的解剖的パターン）が、自己教師あり表現学習に活用可能な強力な監督信号としての可能性を解明すること。
• 一貫した解剖的構造を明示的に監督信号として活用する自己教師ありフレームワークを開発し、モデルの汎化性能と意味的理解を向上させること。
• 多様な医療画像応用分野において、自己教師ありおよび完全教師ありモデルを凌駕する汎用的で事前学習された3次元モデルを構築すること。
• 意味的豊富な特徴を用いた3次元表現学習が、2次元スライスベースのアプローチでさえ、ImageNet事前学習を用いても優れた性能を発揮することを示すこと。
• 自己分類と自己修復の組み合わせによる相乗効果が、医療ボリュームから強固で転送可能な視覚表現を学習する上でどのように寄与するかを検証すること。

提案手法

• フレームワークは、スキップ接続と分類ヘッドを備えたエンコーダ・デコーダアーキテクチャを採用し、ラベルなし3次元医療画像上でエンドツーエンドに訓練される。
• 自己発見は、基準患者の深層潜在特徴を用いて、複数の被験者にわたる一貫した解剖的パターンを同定し、固定座標での領域切り出しを実行する。
• 自己分類は、空間的座標に基づいて切り出された解剖的パターンに擬似ラベルを割り当てることで、繰り返し現れるパターンから意味的構造を学習可能にする。
• 自己修復は、変換されたバージョンから元の画像領域を再構築するようにモデルを訓練することで、特徴のロバスト性と不変性を向上させる。
• 自己分類（意味的特徴のため）と自己修復（外観および構造のため）を組み合わせたマルチタスク目的関数を用いて事前学習を行い、計算コストを最小限に抑える。
• 最終的なモデル、Semantic Genesisは、人為的アノテーションなしで微調整され、分類およびセグメンテーションタスクへのゼロショットまたは少数ショット転移が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし医療画像内に存在する反復的解剖的パターンが、自己教師あり表現学習の強力で無料の監督信号として機能できるか？
• RQ2 自己発見と自己分類による解剖的構造の統合が、ランダムなクロップベースの手法と比較して、意味的表現学習をどの程度向上させるか？
• RQ3 Semantic Genesisによる意味的豊富な事前学習が、既存の自己教師ありおよび完全教師あり3次元事前学習手法をどの程度上回るか？
• RQ4 意味的豊富な特徴を用いた3次元事前学習が、ImageNet事前学習モデルを用いた場合でも、2次元スライスベースの転移学習よりも優れた性能を発揮するか？
• RQ5 自己分類と自己修復が、多様な医療画像タスクにおける最終的な表現品質および汎化性能を向上させる上で、どのように相乗的に寄与するか？

主な発見

• Semantic Genesisは、MedicalNet、NiftyNet、I3Dを含む、公開済みのすべての3次元自己教師ありおよび完全教師あり事前学習モデルを、6つの異なる医療画像タスクで顕著に上回った。
• 3次元タスク（NCCおよびNCS）において、Semantic Genesis 3Dは、最先端のImageNetベースのモデルを含むすべての2次元アプローチを上回り、ボリュームデータに対して3次元アプローチの必要性を示した。
• Semantic Genesis 2Dは、Models Genesis 2Dを上回り、PXSおよびNCCにおいてImageNetベースのモデルと同等の性能を達成した。これは、自己教師あり学習が一部の状況では完全教師あり事前学習と同等の性能を発揮できることを示している。
• 自己分類と自己修復の併用訓練は、単独で使用する場合よりも安定性と高い性能を発揮し、両者の相補的性を確認した。
• Semantic Genesisは、LCSとBMSのような大規模なドメインシフトを伴うタスクにおいても一貫した汎化性能を示し、ソースとターゲットデータセットが著しく異なる場合でも、強固で転送可能であることを示した。
• 事前学習段階で人為的アノテーションデータを一切使用せず、最高性能を達成した。これは、医療画像に豊富に埋め込まれた解剖的意味的特徴を、自己教師あり学習に効果的に活用可能であることを証明した。