[論文レビュー] Capturing implicit hierarchical structure in 3D biomedical images with self-supervised hyperbolic representations

Joy Hsu, Jeffrey Gu+3 more|arXiv (Cornell University)|Dec 2, 2020

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、3次元バイオメディカル画像における階層的表現を学習し、最先端の教師なしセグメンテーションを実現する自己教師付き双曲変分オートエンコーダーを提案する。双曲空間内での親子サブボリュームが近くなるよう促すトリプレット損失を導入することで、暗黙の階層構造を捉える。大規模な合成オブジェクトでは32%高いセグメンテーション精度を達成し、BraTS脳腫瘍データセットでは従来の教師なし手法と比較して19%高いDiceスコアを達成した。

ABSTRACT

We consider the task of representation learning for unsupervised segmentation of 3D voxel-grid biomedical images. We show that models that capture implicit hierarchical relationships between subvolumes are better suited for this task. To that end, we consider encoder-decoder architectures with a hyperbolic latent space, to explicitly capture hierarchical relationships present in subvolumes of the data. We propose utilizing a 3D hyperbolic variational autoencoder with a novel gyroplane convolutional layer to map from the embedding space back to 3D images. To capture these relationships, we introduce an essential self-supervised loss -- in addition to the standard VAE loss -- which infers approximate hierarchies and encourages implicitly related subvolumes to be mapped closer in the embedding space. We present experiments on both synthetic data and biomedical data to validate our hypothesis.

研究の動機と目的

• 専門家ラベル付きデータが乏しく高価であるため、バイオメディカル画像における教師なし3次元セグメンテーションの課題に対処すること。
• 細胞内のオルガネラや脳スキャン内の腫瘍サブストラクチャなど、3次元ボクセルグリッド画像に内在する暗黙の階層的構造を活用して、より良い表現学習を実現すること。
• 双曲空間の幾何的性質を活用することで、教師なしで意味的かつ分離可能な表現を学習する手法を開発すること。
• 階層的関係を自己教師付きプロメイトタスクとしてモデル化することで、セグメンテーション性能を向上させること。

提案手法

• 本手法は、3次元画像のサブボリュームを双曲潜在空間に埋め込むための3次元双曲変分オートエンコーダー（VAE）を採用し、これはユークリッド空間よりも階層的関係をよりよく保存する。
• 双曲潜在空間から3次元ボクセルグリッドへ復元する際に、双曲幾何を尊重する新しいジロプレーン畳み込み層を導入した。
• 標準的なVAE目的関数に加え、自己教師付きトリプレット損失を追加し、双曲空間内での子サブボリュームが親サブボリュームに近づくよう促進する。
• 複数スケールでサブボリュームをサンプリングすることで、異なる粒度レベルの階層的関係を捉える。
• 再構成損失と階層的トリプレット損失の両方を用いて、エンドツーエンドでモデルを訓練し、双曲潜在空間内でクラスタリングを適用してセグメンテーションマップを生成する。
• 学習されたボクセルレベル表現を双曲空間でクラスタリングすることでセグメンテーションを実行し、複数の階層レベルを回復できるようにクラスタ数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 教師なし設定下で、双曲表現学習は3次元バイオメディカル画像に内在する暗黙の階層的構造を効果的に捉えることができるか？
• RQ2 自己教師付き階層的損失を組み込むことで、標準的なVAEと比較して、教師なし3次元セグメンテーション性能がどの程度向上するか？
• RQ3 双曲クラスタリングは、合成データおよび実際のバイオメディカルデータの両方において、複数の階層レベルをどの程度回復できるか？
• RQ4 提案されたジロプレーン畳み込み層は、双曲空間からの復元時に幾何的構造を保存する点で、標準的な層を上回る性能を示すか？
• RQ5 自己教師付き双曲モデルは、実世界の3次元セグメンテーションベンチマークにおいて、半教師ありまたは完全教師あり手法と同等の性能を達成できるか？

主な発見

• 合成階層データセットでは、最大のオブジェクトに対して32%高いDiceスコア、最小のオブジェクトに対して7%高いスコアを達成し、すべての従来の教師なし手法を上回った。
• BraTS 2019データセットでは、全腫瘍セグメンテーションでDiceスコア0.684を達成し、すべての従来の教師なし手法を上回り、1つの3次元半教師ありモデルでさえも上回った。
• 平均および95パーセンタイルのハウスドルフ距離が、それぞれ77.940および97.641と、すべての従来の教師なし手法を下回り、境界の局所化がより正確であることを示した。
• トリプレット損失とジロプレーン畳み込み層の組み合わせが最大の性能向上をもたらし、幾何的注意をもった復元と階層的自己教師付き学習の重要性を示した。
• 定性的な結果では、クラスタ数を変化させることで、腫瘍、脳、バックグラウンドといった臨床的に関連性のある構造が明らかになり、モデルが生物学的に意味のある特徴を発見していることが示された。
• アブレーションスタディにより、双曲潜在空間と自己教師付きトリプレット損失の両方が階層的構造を捉えるために不可欠であることが確認され、特にトリプレット損失がベースの双曲VAEに比べて最も顕著な改善をもたらした。