[논문 리뷰] Learning Hyperbolic Representations for Unsupervised 3D Segmentation

Joy Hsu, Jeffrey Gu외 3명|arXiv (Cornell University)|2021. 05. 04.

3D Shape Modeling and Analysis참고 문헌 25인용 수 4

한 줄 요약

이 논문은 비선형 3D 표현을 학습하기 위해 쌍곡기하학을 활용한 변동형 오토인코더와 고저플레인 컨볼루션 레이어, 계층적 트리플릿 손실을 제안한다. 이는 뇌종양 영상(BraTS), 냉동전자현미경(cryo-EM), 그리고 합성 계층적 데이터셋에서 비지도 분할을 향상시킨다. 부피자료 내부의 내재된 계층적 구조를 쌍곡기하학으로 모델링함으로써, 이 방법은 BraTS, cryo-EM, 그리고 합성 계층적 데이터셋에서 비지도 분할 성능을 향상시킨다.

ABSTRACT

There exists a need for unsupervised 3D segmentation on complex volumetric data, particularly when annotation ability is limited or discovery of new categories is desired. Using the observation that much of 3D volumetric data is innately hierarchical, we propose learning effective representations of 3D patches for unsupervised segmentation through a variational autoencoder (VAE) with a hyperbolic latent space and a proposed gyroplane convolutional layer, which better models the underlying hierarchical structure within a 3D image. We also introduce a hierarchical triplet loss and multi-scale patch sampling scheme to embed relationships across varying levels of granularity. We demonstrate the effectiveness of our hyperbolic representations for unsupervised 3D segmentation on a hierarchical toy dataset, BraTS whole tumor dataset, and cryogenic electron microscopy data.

연구 동기 및 목표

• annotation이 부족하거나 새로운 카테고리가 발견되어야 하는 복잡한 부피자료에서 비지도 3D 분할 문제를 해결하기 위해.
• 3D 부피자료에 내재된 계층적 구조를 활용하여 표현 학습을 향상시키기 위해.
• 유사한 3D 분할 작업에서 유클리드 공간보다 계층적 관계를 더 효과적으로 모델링할 수 있는 딥러닝 프레임워크를 개발하기 위해.
• 카테고리 레이블 없이도 의미론적 구조를 발견할 수 있도록, 쌍곡기하 공간에서 분리된 계층적 표현을 학습하기 위해.

제안 방법

• 3D 부피자료의 계층적 성격을 더 잘 포착하기 위해 쌍곡잠재공간을 사용하는 변동형 오토인코더(VAE)를 활용한다.
• 쌍곡기하 공간에서 작동하는 새로운 고저플레인 컨볼루션 레이어를 도입하여, 쌍곡기하 다양체에서 등변 특징 학습을 가능하게 한다.
• 다양한 해상도 수준 간의 패치 상대적 순서를 강제하는 계층적 트리플릿 손실을 적용하여 체계적인 표현 학습을 촉진한다.
• 학습 중 다양한 수준의 세부 정보 관계를 캡처하기 위해 다중 척도 패치 샘플링 기법을 적용한다.
• 유사한 3D 표현 학습에서 유클리드 공간보다 나무 구조나 계층적 구조를 더 자연스럽게 모델링하기 위해 쌍곡기하학을 활용한다.

실험 결과

연구 질문

• RQ1 비지도 분할을 위한 3D 부피자료의 계층적 구조를 쌍곡기하 표현이 유클리드 표현보다 더 잘 포착할 수 있는가?
• RQ2 제안된 고저플레인 컨볼루션 레이어가 3D 자료의 쌍곡기하 공간에서 특징 학습을 어떻게 향상시키는가?
• RQ3 계층적 트리플릿 손실이 다양한 척도에서 학습된 표현의 품질을 어느 정도 향상시키는가?
• RQ4 다중 척도 패치 샘플링 기법이 표현 학습의 일반화 능력과 계층적 일관성을 향상시키는가?
• RQ5 제안된 방법이 annotation 없이도 실제 3D 데이터셋인 BraTS와 cryo-EM에서 경쟁 가능한 비지도 분할 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 계층적 토이 데이터셋에서 최신 기술 수준의 비지도 3D 분할 성능을 달성하여 계층적 구조 복원 능력이 뛰어나다는 것을 입증한다.
• BraTS 전체 종양 데이터셋에서 모델은 카테고리 레이블 없이도 의미적으로 일관된 분할을 학습하며, 해부학적 구조의 효과적인 발견을 보여준다.
• 이 방법은 냉동전자현미경 데이터에서 표현 학습을 향상시켜 매크로분자 복합체에 내재된 구조적 계층을 잘 포착한다.
• 쌍곡기하 공간의 사용은 유클리드 기반 모델 대비 더 컴act하고 체계적인 잠재 표현을 제공한다.
• 계층적 트리플릿 손실과 다중 척도 샘플링은 다양한 추상화 수준 간의 표현 학습 일관성과 해상도를 크게 향상시킨다.