[논문 리뷰] Capturing implicit hierarchical structure in 3D biomedical images with self-supervised hyperbolic representations

Joy Hsu, Jeffrey Gu외 3명|arXiv (Cornell University)|2020. 12. 02.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 3D 생물의학 영상에서 계층적 표현을 학습하기 위해 자가지도 학습형 쌍곡선 변동 자동에코더와 기립 평면 컨볼루션 레이어를 제안한다. 이는 최신의 비지도 분할 성능을 달성한다. 부모-자식 하위볼륨이 쌍곡선 공간에서 더 가까이 있도록 유도하는 트리플릿 손실을 도입함으로써, 모델은 암묵적인 계층적 관계를 포착하며, 대규모 합성 물체에서 32% 높은 분할 정확도와 BraTS 뇌종양 데이터셋에서 이전 비지도 방법보다 19% 높은 Dice 스코어를 달성한다.

ABSTRACT

We consider the task of representation learning for unsupervised segmentation of 3D voxel-grid biomedical images. We show that models that capture implicit hierarchical relationships between subvolumes are better suited for this task. To that end, we consider encoder-decoder architectures with a hyperbolic latent space, to explicitly capture hierarchical relationships present in subvolumes of the data. We propose utilizing a 3D hyperbolic variational autoencoder with a novel gyroplane convolutional layer to map from the embedding space back to 3D images. To capture these relationships, we introduce an essential self-supervised loss -- in addition to the standard VAE loss -- which infers approximate hierarchies and encourages implicitly related subvolumes to be mapped closer in the embedding space. We present experiments on both synthetic data and biomedical data to validate our hypothesis.

연구 동기 및 목표

• 전문가 레이블이 부족하고 비용이 많이 드는 3D 생물의학 영상에서의 비지도 분할 과제를 해결하기 위해.
• 세포 내 오르간엘 또는 뇌 스캔 내 종양의 하위구조와 같은 3D 볼륨 격자 영상 내 암묵적인 계층적 구조를 활용하여 표현 학습을 향상시키기 위해.
• 쌍곡선 공간의 기하적 성질을 이용하여 감독 없이도 의미 있는 분리된 표현을 학습하는 방법을 개발하기 위해.
• 하위볼륨 간의 계층적 관계를 자기지도 사전 과제로 모델링하여 분할 성능을 향상시키기 위해.

제안 방법

• 모델은 3D 영상의 하위볼륨을 쌍곡선 잠재 공간에 임bedding하는 데 3D 쌍곡선 변동 자동에코더(VAE)를 사용하며, 이는 유클리드 공간보다 계층적 관계를 더 잘 유지한다.
• 쌍곡선 잠재 공간에서 3D 볼륨 격자로 복원하기 위해 기하학적 성질을 고려하는 새로운 기립 평면 컨볼루션 레이어를 도입한다.
• 기본 VAE 목적함수에 자기지도 트리플릿 손실을 추가하여, 자식 하위볼륨이 쌍곡선 공간에서 그 부모 하위볼륨에 더 가까이 임베딩되도록 유도한다.
• 다양한 스케일에서 하위볼륨을 샘플링하여 다양한 정도의 정밀도에서 계층적 관계를 포착한다.
• 재구성 손실과 계층적 트리플릿 손실을 모두 사용하여 엔드 투 엔드로 모델을 훈련시키며, 쌍곡선 잠재 공간에서 클러스터링을 적용하여 분할 맵을 생성한다.
• 학습된 볼륨 수준 표현을 쌍곡선 공간에서 클러스터링하여 분할을 수행하며, 클러스터 수를 조정하여 다양한 수준의 계층을 복원한다.

실험 결과

연구 질문

• RQ1 감독 없이도 쌍곡선 표현 학습이 3D 생물의학 영상 내 암묵적인 계층적 구조를 효과적으로 포착할 수 있는가?
• RQ2 자기지도 계층적 손실을 통합할 경우, 표준 VAE에 비해 비지도 3D 분할 성능가 향상되는가?
• RQ3 쌍곡선 클러스터링이 합성 및 실제 생물의학 데이터 모두에서 다수의 계층 수준을 얼마나 잘 복원할 수 있는가?
• RQ4 제안된 기립 평면 컨볼루션 레이어가 쌍곡선 공간에서 복원 시 기하학적 구조를 보존하는 데 기존 레이어보다 뛰어난가?
• RQ5 자기지도 쌍곡선 모델이 실제 3D 분할 벤치마크에서 준지도 또는 완전지도 방법과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 합성 계층적 데이터셋에서, 모델은 가장 큰 물체에 대해 최대 32% 높은 Dice 스코어를 기록했으며, 가장 작은 물체에 대해서는 7% 높은 스코어를 기록하여 이전 비지도 방법을 모두 능가했다.
• BraTS 2019 데이터셋에서, 이 방법은 전체 종양 분할에 대해 0.684의 Dice 스코어를 달성하여 모든 이전 비지도 방법을 뛰어넘었으며, 일부 3D 준지도 모델보다도 뛰어난 성능을 보였다.
• 모든 이전 비지도 방법보다 평균 및 95% 백분위수 하우스도르프 거리가 낮았으며, 각각 77.940과 97.641이었다. 이는 더 정확한 경계 국정을 의미한다.
• 트리플릿 손실과 기립 평면 컨볼루션 레이어의 조합이 가장 큰 성능 향상을 가져왔으며, 기하학적 인식 복원과 계층적 자기지도 학습의 중요성을 입증했다.
• 정성적 결과에서는 클러스터 수를 다양하게 조정함으로써 종양, 뇌, 배경과 같은 임상적으로 유의미한 구조가 드러나, 모델이 생물학적으로 의미 있는 특징을 발견하고 있음을 시사했다.
• 절단 분석 결과, 쌍곡선 잠재 공간과 자기지도 트리플릿 손실이 계층적 구조를 포착하는 데 필수적임을 확인했으며, 특히 트리플릿 손실이 기본 쌍곡선 VAE에 비해 가장 큰 향상을 이끌었다.