[论文解读] Capturing implicit hierarchical structure in 3D biomedical images with self-supervised hyperbolic representations

Joy Hsu, Jeffrey Gu+3 more|arXiv (Cornell University)|Dec 2, 2020

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

该论文提出了一种自监督的双曲变分自编码器，结合旋翼平面卷积层，用于在3D生物医学图像中学习分层表征，实现最先进的无监督分割。通过引入一种三元组损失，促使父-子子体积在双曲空间中更接近，模型捕捉了隐式的层次结构，在大型合成对象上实现了32%更高的分割准确率，在BraTS脑肿瘤数据集上比先前的无监督方法提升了19%的Dice分数。

ABSTRACT

We consider the task of representation learning for unsupervised segmentation of 3D voxel-grid biomedical images. We show that models that capture implicit hierarchical relationships between subvolumes are better suited for this task. To that end, we consider encoder-decoder architectures with a hyperbolic latent space, to explicitly capture hierarchical relationships present in subvolumes of the data. We propose utilizing a 3D hyperbolic variational autoencoder with a novel gyroplane convolutional layer to map from the embedding space back to 3D images. To capture these relationships, we introduce an essential self-supervised loss -- in addition to the standard VAE loss -- which infers approximate hierarchies and encourages implicitly related subvolumes to be mapped closer in the embedding space. We present experiments on both synthetic data and biomedical data to validate our hypothesis.

研究动机与目标

• 为解决生物医学成像中无监督3D分割的挑战，其中专家标注数据稀缺且成本高昂。
• 利用3D体素网格图像中的隐式层次结构（如细胞内的细胞器或脑部扫描中的肿瘤亚结构）以改进表征学习。
• 开发一种无需监督即可学习有意义且解耦表征的方法，通过利用双曲空间的几何特性。
• 通过将子体积之间的层次关系建模为自监督的预训练任务，提升分割性能。

提出的方法

• 该方法采用3D双曲变分自编码器（VAE）将3D图像的子体积嵌入双曲潜在空间，相比欧几里得空间更能保持层次关系。
• 提出一种新颖的旋翼平面卷积层，以在尊重双曲几何的前提下，从双曲潜在空间解码回3D体素网格。
• 在标准VAE目标基础上增加自监督三元组损失，促使子体积在双曲空间中更接近其父体积。
• 在多个尺度上采样子体积，以捕捉不同粒度层次上的层次关系。
• 通过重建损失和层次三元组损失联合端到端训练模型，并在双曲潜在空间中应用聚类以生成分割图。
• 通过在双曲空间中对学习到的体素级表征进行聚类执行分割，聚类数量经调优以恢复多个层次的结构。

实验结果

研究问题

• RQ1 在无显式监督的情况下，双曲表征学习能否有效捕捉3D生物医学图像中的隐式层次结构？
• RQ2 与标准VAE相比，引入自监督层次损失在无监督3D分割中能带来多大程度的性能提升？
• RQ3 双曲聚类在合成和真实生物医学数据中，能在多大程度上恢复多个层次的结构？
• RQ4 所提出的旋翼平面卷积层在从双曲空间解码过程中，是否优于标准卷积层以更好地保持几何结构？
• RQ5 自监督双曲模型在真实世界3D分割基准测试中，能否达到与半监督或全监督方法相媲美性能？

主要发现

• 在合成层次数据集上，该模型在最大对象上的Dice分数最高提升了32%，在最小对象上提升了7%，优于所有先前的无监督方法。
• 在BraTS 2019数据集上，该方法在全肿瘤分割中实现了0.684的Dice分数，超越了所有先前的无监督方法，甚至优于一个3D半监督模型。
• 该模型的平均和95百分位Hausdorff距离（分别为77.940和97.641）均低于所有先前的无监督方法，表明边界定位更准确。
• 三元组损失与旋翼平面卷积层的结合带来了最大的性能增益，证明了几何感知解码与层次自监督的重要性。
• 定性结果表明，通过调整聚类数量可揭示多个具有临床意义的结构，如肿瘤、大脑和背景，表明模型发现了生物学上有意义的特征。
• 消融实验确认，双曲潜在空间和自监督三元组损失对捕捉层次结构均至关重要，其中三元组损失对基础双曲VAE的性能提升最为显著。