[논문 리뷰] From voxels to pixels and back: Self-supervision in natural-image reconstruction from fMRI

Roman Beliy, Guy Gaziv외 4명|arXiv (Cornell University)|2019. 07. 03.

Advanced MRI Techniques and Applications참고 문헌 31인용 수 58

한 줄 요약

본 논문은 레이블이 있는 짝과 레이블이 없는 데이터를 포함하고, 라벨이 없는 테스트-fMRI를 포함하여 새로운 테스트 통계에 적응하고 재구성 품질을 향상시키는 fMRI-to-image 재구성을 가능하게 하는 자체 감독 프레임워크를 제시한다.

ABSTRACT

Reconstructing observed images from fMRI brain recordings is challenging. Unfortunately, acquiring sufficient "labeled" pairs of {Image, fMRI} (i.e., images with their corresponding fMRI responses) to span the huge space of natural images is prohibitive for many reasons. We present a novel approach which, in addition to the scarce labeled data (training pairs), allows to train fMRI-to-image reconstruction networks also on "unlabeled" data (i.e., images without fMRI recording, and fMRI recording without images). The proposed model utilizes both an Encoder network (image-to-fMRI) and a Decoder network (fMRI-to-image). Concatenating these two networks back-to-back (Encoder-Decoder & Decoder-Encoder) allows augmenting the training with both types of unlabeled data. Importantly, it allows training on the unlabeled test-fMRI data. This self-supervision adapts the reconstruction network to the new input test-data, despite its deviation from the statistics of the scarce training data.

연구 동기 및 목표

• Seen 이미지 재구성을 위한 Image–fMRI 페어의 라벨 부족 해결.
• 레이블이 없는 데이터(이미지 및 fMRI)를 활용하여 디코딩 성능을 향상시킨다.
• 테스트-타임 데이터 통계에 맞게 라벨이 없는 테스트-fMRI로 재구성 모델을 적응시킨다.
• encoder의 안정성을 유지하면서 decoder의 능력을 향상시키는 두 단계 학습 파이프라인을 개발한다.
• 공개된 두 개의 공용 fMRI 데이터셋에서 강건성과 일반화 가능성을 보여준다.

제안 방법

• 이미지–fMRI 페어를 사용하여 이미지를 fMRI 반응으로 매핑하는 Encoder를 지도학습으로 학습한다.
• 레이블된 데이터를 이용한 손실과 자체 감독 손실을 결합한 손실을 사용하여 fMRI를 이미지로 매핑하는 Decoder를 학습한다.
• Encoder–Decoder 경로(s -> D(E(s))를 통해 이미지 일관성을 강제)로 라벨이 없는 이미지에 대한 비지도 학습을 도입한다.
• Decoder–Encoder 경로(r -> E(D(r))를 통해 테스트 통계에 적응하도록 라벨이 없는 테스트-fMRI에 대한 비지도 학습을 도입한다.
• Decoder 학습 동안 Encoder를 고정하여 비지도 목표와의 fMRI 예측 일관성을 보존한다.
• 감지된 이미지 재구성 손실 및 특징 손실, 색상 손실, 총변동 규칙화를 포함하는 세 부분 손실 L^D + L^ED + L^DE를 사용한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터(이미지 및 테스트-fMRI)에 대한 자체 감독이 supervised 학습을 넘어 fMRI-to-image 재구성을 개선할 수 있는가?
• RQ2 대상 테스트 이미지의 재구성 품질에 테스트-용 라벨이 없는 fMRI에 대한 적응이 영향을 미치는가?
• RQ3 외부의 라벨이 없는 이미지로 학습하는 것이 도움이 되며, 대상 테스트-fMRI로의 적응이 더 큰 영향을 미치는가?
• RQ4 두 단계 학습 방식이 안정성과 재구성 충실도에 어떤 영향을 미치는가?

주요 결과

• 라벨이 없는 테스트-fMRI에 대한 자체 감독이 재구성 품질에서 가장 큰 향상을 제공한다.
• 라벨이 없는 자연 이미지에 대한 비지도 학습은 다소 개선을 제공하지만 테스트-fMRI 적응만큼 큰 영향을 주지는 않는다.
• 두 유형의 라벨이 없는 데이터 모두를 활용한 전체 방법이 단독 지도 학습보다 높은 식별율을 달성한다.
• 2-웨이 식별에서 지도 학습만으로는 80.1%였으나 전체 라벨이 없는 데이터 학습으로 85.3%로 증가했다.
• vim-1의 경우 전체 방법이 n=2에 대해 70.5%의 식별을 달성했고, 경쟁 방법보다 최소 3% 높은 성능을 보였다.