[論文レビュー] Learning Hyperbolic Representations for Unsupervised 3D Segmentation

Joy Hsu, Jeffrey Gu+3 more|arXiv (Cornell University)|May 4, 2021

3D Shape Modeling and Analysis参考文献 25被引用数 4

ひとこと要約

本稿では、超空間畳み込み層と階層的三重損失を備えた双曲変分オートエンコーダーを提案し、教師なしセグメンテーションのための階層的3次元表現を学習する。ボリュメトリックデータに内在する階層的構造を双曲幾何学を用いてモデル化することで、BraTS、cryo-EM、および合成された階層的データセットにおいて、教師なしセグメンテーション性能が向上した。

ABSTRACT

There exists a need for unsupervised 3D segmentation on complex volumetric data, particularly when annotation ability is limited or discovery of new categories is desired. Using the observation that much of 3D volumetric data is innately hierarchical, we propose learning effective representations of 3D patches for unsupervised segmentation through a variational autoencoder (VAE) with a hyperbolic latent space and a proposed gyroplane convolutional layer, which better models the underlying hierarchical structure within a 3D image. We also introduce a hierarchical triplet loss and multi-scale patch sampling scheme to embed relationships across varying levels of granularity. We demonstrate the effectiveness of our hyperbolic representations for unsupervised 3D segmentation on a hierarchical toy dataset, BraTS whole tumor dataset, and cryogenic electron microscopy data.

研究の動機と目的

• アノテーションが不足している、もしくは新しいカテゴリの発見が求められる複雑なボリュメトリックデータにおける教師なし3次元セグメンテーションの課題に対処すること。
• 3次元ボリュメトリックデータに内在する階層的構造を活用して、より優れた表現学習を実現すること。
• 3次元セグメンテーションタスクにおいて、ユークリッド空間よりも階層的関係をより効果的にモデル化できる深層学習フレームワークを開発すること。
• カテゴリラベルなしで意味的構造を発見できるように、双曲空間における分離可能で階層的な表現を学習すること。

提案手法

• 3次元ボリュメトリックデータの階層的性質をよりよく捉えるために、双曲潜在空間を備えた変分オートエンコーダー（VAE）を採用する。
• 双曲空間で動作する、新規のジロプレーン畳み込み層を導入し、双曲多様体上での等変特徴学習を可能にする。
• 複数のスケールにおけるパッチの相対的順序を強制する階層的三重損失を採用し、構造的な表現学習を促進する。
• 訓練中にさまざまな詳細レベルの関係を捉えるために、マルチスケールのパッチサンプリング方式を適用する。
• ユークリッド空間よりも、木構造的または階層的構造をより自然にモデル化できる双曲幾何学を用いることで、表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師なしセグメンテーションにおいて、双曲表現はユークリッド表現に比べ、3次元ボリュメトリックデータの階層的構造をよりよく捉えられるか？
• RQ2 提案されたジロプレーン畳み込み層は、3次元データの双曲空間における特徴学習をどのように向上させるか？
• RQ3 階層的三重損失は、複数スケールにわたる表現の質をどの程度向上させるか？
• RQ4 マルチスケールのパッチサンプリング方式は、表現学習における一般化性と階層的一致性を向上させるか？
• RQ5 提案手法は、アノテーションなしでBraTS や cryo-EM といった実世界の3次元データセットにおいて、競争力のある教師なしセグメンテーション性能を達成できるか？

主な発見

• 提案手法は、階層的おもちゃデータセットにおいて、最先端の教師なし3次元セグメンテーション性能を達成し、階層的構造の回復能力に優れていることが示された。
• BraTS全腫瘍データセットでは、カテゴリラベルなしで意味的で一貫性のあるセグメンテーションを学習しており、解剖的構造の有効な発見が示された。
• c啰-EMデータにおいても、表現学習が向上し、マクロマクロ分子複合体に内在する構造的階層を捉えている。
• 双曲空間の使用により、ユークリッドベースラインに比べて、よりコンパクトで構造的な潜在表現が得られた。
• 階層的三重損失とマルチスケールサンプリングにより、抽象化の各レベルにおける表現の整合性と粒度が顕著に向上した。