[논문 리뷰] More Than Meets the Eye: Self-Supervised Depth Reconstruction From Brain Activity

Guy Gaziv, Michal Irani|arXiv (Cornell University)|2021. 06. 09.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 자기지도 학습을 사용하여 fMRI 뇌 활동에서 직접 고밀도 3D 깊이 맵을 복원하는 데 있어 최초의 방법을 제시한다. 쌍이 맞지 않는 자연 이미지에서 사전 훈련된 단안 깊이 추정 모델을 활용하고 깊이 기반의 인지 유사도 지표를 도입함으로써, 재구성된 이미지에서 간접적으로 깊이를 복원하는 것보다 성능이 뛰어나며, 직접적인 깊이 예측은 1000가지 식별 작업에서 평균 깊이 순위 97을 기록한다—간접 방법보다 훨씬 뛰어나다.

ABSTRACT

In the past few years, significant advancements were made in reconstruction of observed natural images from fMRI brain recordings using deep-learning tools. Here, for the first time, we show that dense 3D depth maps of observed 2D natural images can also be recovered directly from fMRI brain recordings. We use an off-the-shelf method to estimate the unknown depth maps of natural images. This is applied to both: (i) the small number of images presented to subjects in an fMRI scanner (images for which we have fMRI recordings - referred to as "paired" data), and (ii) a very large number of natural images with no fMRI recordings ("unpaired data"). The estimated depth maps are then used as an auxiliary reconstruction criterion to train for depth reconstruction directly from fMRI. We propose two main approaches: Depth-only recovery and joint image-depth RGBD recovery. Because the number of available "paired" training data (images with fMRI) is small, we enrich the training data via self-supervised cycle-consistent training on many "unpaired" data (natural images & depth maps without fMRI). This is achieved using our newly defined and trained Depth-based Perceptual Similarity metric as a reconstruction criterion. We show that predicting the depth map directly from fMRI outperforms its indirect sequential recovery from the reconstructed images. We further show that activations from early cortical visual areas dominate our depth reconstruction results, and propose means to characterize fMRI voxels by their degree of depth-information tuning. This work adds an important layer of decoded information, extending the current envelope of visual brain decoding capabilities.

연구 동기 및 목표

• fMRI 기반 시각 복원을 RGB 이미지 복원을 넘어서 고밀도 3D 깊이 맵으로 확장하기 위해.
• 쌍이 맞는 fMRI-이미지 데이터의 부족을 해결하기 위해, 추정된 깊이 맵이 있는 대규모 쌍이 맞지 않는 자연 이미지를 활용하기 위해.
• 인지 일관성을 활용하여 fMRI로부터의 깊이 복원을 향상시키는 자기지도 학습 프레임워크를 개발하기 위해.
• 색상/RGB 콘텐츠에 비해 깊이 정보에 얼마나 민감한지에 따라 fMRI 볼륨을 특성화하기 위해.

제안 방법

• 사전 훈련된 단안 깊이 모델(MiDaS)을 사용해 쌍이 맞는 fMRI 이미지와 대규모 쌍이 맞지 않는 자연 이미지의 깊이 맵을 추정한다.
• 쌍이 맞지 않는 데이터에서 사이클 일관성 자기지도 학습을 사용하여 fMRI 활동을 깊이 맵(또는 RGBD)으로 매핑하는 딥 인코더-디코더 네트워크를 훈련한다.
• 사전 훈련된 깊이 네트워크의 특징을 사용하여 복원 정확도를 안내하는 새로운 깊이 기반 인지 유사도 지표를 도입한다.
• 재구성된 깊이 맵이 인간의 깊이 인지와 인지적으로 의미 있고 일관되게 유지되도록 보장하기 위해 인지 기반 손실 함수를 사용한다.
• 공유된 인코더 및 디코더 구성 요소를 가진 두 가지 주요 아키텍처를 훈련한다: 깊이만 복원하는 방법과 RGBD를 함께 복원하는 방법.
• 개별 fMRI 볼륨이 깊이 정보에 얼마나 민감한지의 정도를 정량화하기 위해 볼륨 깊이 민감도 인덱스(VDSI)를 제안한다.

실험 결과

연구 질문

• RQ1 쌍이 맞지 않는 중간 이미지 복원에 의존하지 않고, fMRI 뇌 활동에서 직접 고밀도 3D 깊이 맵을 복원할 수 있는가?
• RQ2 추정된 깊이 맵이 있는 쌍이 맞지 않는 자연 이미지에서 자기지도 학습을 수행하면 fMRI 기반 깊이 복원 성능이 향상되는가?
• RQ3 재구성된 RGB 이미지에서 간접적으로 깊이를 복원하는 것과 비교해, fMRI에서 직접 깊이를 예측하는 방법의 정확도는 어떻게 되는가?
• RQ4 fMRI 활동에서 깊이 정보에 가장 민감한 뇌 영역과 볼륨은 어디인가?
• RQ5 개별 fMRI 볼륨을 깊이 정보에 대한 조정 정도에 따라 체계적으로 특성화할 수 있는가?

주요 결과

• 직접적인 RGBD 방법은 1000가지 식별 작업에서 평균 깊이 순위 97을 기록하여, 간접적 방법(각각 순위 38 및 56)보다 뚜렷이 뛰어나다.
• 깊이 복원 성능는 주로 초기 시각 피질(LVC, V1–V3) 볼륨에 의해 주로 결정되며, 고도의 시각 피질(HVC) 볼륨은 깊이 복원에 기여도가 낮다.
• 제안된 깊이 기반 인지 유사도 지표는 효과적으로 복원을 안내하여 인지적으로 타당한 깊이 맵을 생성한다.
• 볼륨 깊이 민감도 인덱스(VDSI)는 데이터셋 간에 강력한 일관성을 보이며, 대부분의 볼륨이 색상에 비해 깊이 정보에 대해 낮은 민감도를 보임을 시사한다.
• 직접 깊이 예측 방법은 동일한 1000가지 작업에서 평균 RGB 순위 16을 기록하여 높은 품질의 깊이 맵을 생성하며, 이미지 및 깊이 복원 성능이 뛰어나다.
• 이 연구는 깊이가 fMRI 기반 뇌 복원에 있어 실현 가능하고 유의미한 모달리티임을 입증하며, 뇌 활동에서 복원 가능한 시각 정보의 범위를 넓혔다.