[논문 리뷰] A Penny for Your (visual) Thoughts: Self-Supervised Reconstruction of Natural Movies from Brain Activity

Ganit Kupershmidt, Roman Beliy외 2명|arXiv (Cornell University)|2022. 06. 07.

Cell Image Analysis Techniques인용 수 10

한 줄 요약

이 논문은 쌍방향 일致성 학습을 통해 영상에서 fMRI 뇌 활동으로의 인코더(영상 → fMRI)와 fMRI에서 영상으로의 디코더(fMRI → 영상) 간의 사이클 일치를 활용하여, 풍부한 쌍방향이 없는 자연 영상 데이터를 사용해 자연 영상을 fMRI 활동으로부터 재구성하는 자기지도 학습 프레임워크를 제안한다. 이 방법은 최신 기준 재구성 품질을 달성하며, fMRI 샘플링 주파수를 초과하는 고프레임레트(최대 ×8) 영상 복원을 가능하게 하여, 지도 학습 전용 기준 대비 시간적 일관성과 세부 사항 복원 능력을 크게 향상시킨다.

ABSTRACT

Reconstructing natural videos from fMRI brain recordings is very challenging, for two main reasons: (i) As fMRI data acquisition is difficult, we only have a limited amount of supervised samples, which is not enough to cover the huge space of natural videos; and (ii) The temporal resolution of fMRI recordings is much lower than the frame rate of natural videos. In this paper, we propose a self-supervised approach for natural-movie reconstruction. By employing cycle-consistency over Encoding-Decoding natural videos, we can: (i) exploit the full framerate of the training videos, and not be limited only to clips that correspond to fMRI recordings; (ii) exploit massive amounts of external natural videos which the subjects never saw inside the fMRI machine. These enable increasing the applicable training data by several orders of magnitude, introducing natural video priors to the decoding network, as well as temporal coherence. Our approach significantly outperforms competing methods, since those train only on the limited supervised data. We further introduce a new and simple temporal prior of natural videos, which - when folded into our fMRI decoder further - allows us to reconstruct videos at a higher frame-rate (HFR) of up to x8 of the original fMRI sample rate.

연구 동기 및 목표

• 희소한 쌍방향 훈련 데이터와 낮은 시간 해상도로 인해 fMRI에서 자연 영상을 재구성하는 데 도전하는 문제를 해결하기 위해.
• 대규모 쌍방향이 없는 자연 영상 데이터를 활용해 자기지도 사전 훈련을 통해 충분한 쌍방향 fMRI-영상 데이터 부족 문제를 해결하기 위해.
• 자연 영상의 동적 특성을 모델링하는 자기지도 시간 전문을 도입하여 재구성된 영상의 시간적 일관성을 향상시키기 위해.
• 원래 fMRI 샘플링 주파수보다 최대 8배 높은 프레임 레이트(HFR)로 영상 복원을 가능하게 하여, 보간을 초월한 시간 동적 특성 학습을 통해 세부 정보 복원 능력을 향상시키기 위해.
• 정량적 지표와 재구성 영상의 주관적 품질 측면에서 기존의 지도 학습 전용 방법을 뛰어넘기 위해.

제안 방법

• 쌍방향이 없는 영상 클립에서 훈련되는 사이클 일치 자기지도 프레임워크: 인코더는 영상 클립을 fMRI 유사 표현으로 매핑하고, 디코더는 해당 표현을 다시 영상 프레임으로 매핑한다.
• 인코더-디코더 사이클(E-D)은 동일한 영상 데이터셋의 내부 쌍방향이 없는 클립과 외부 쌍방향이 없는 자연 영상 모두에서 훈련되어, 쌍방향 fMRI-영상 예제를 초월해 훈련 데이터를 크게 확장한다.
• 자기지도 학습은 사이클 일관성에 의해 적용되며, fMRI 레이블이 필요 없이 fMRI 표현에서 영상 클립을 재구성하고 다시 원래 상태로 복원한다.
• 자신만의 자기지도 시간 전문이 도입되어 자연 영상의 동적 특성을 모델링함으로써 연속된 재구성 프레임 간의 매끄럽고 일관된 전환을 강제한다.
• 디코더는 원래 fMRI 샘플링 주파수(0.5Hz)보다 최대 8배 높은 프레임 레이트로 영상 복원하도록 훈련되어, 세밀한 시간적 세부 정보 복원이 가능하다.
• 제한된 쌍방향 fMRI-영상 데이터에서의 지도 학습 미세조정과 쌍방향이 없는 데이터에서의 광범위한 자기지도 사전 훈련을 결합하여 일반화 능력과 재구성 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 쌍방향이 없는 자연 영상에서의 자기지도 학습이 지도 학습 전용 방법을 뛰어넘어 fMRI 기반 영상 재구성 성능을 크게 향상시킬 수 있는가?
• RQ2 fMRI 샘플링 주파수가 희소하고 낮을 경우 재구성된 영상의 시간적 일관성을 어떻게 향상시킬 수 있는가?
• RQ3 자기지도 시간 전문이 원래 fMRI 샘플링 주파수에서 존재하지 않는 고프레임레트 동적 특성을 얼마나 복원할 수 있는가?
• RQ4 쌍방향이 없는 외부 영상 데이터에서의 사전 훈련이 쌍방향 데이터만으로 훈련하는 것보다 일반화 능력과 재구성 품질을 향상시키는가?
• RQ5 제안된 방법이 fMRI 샘플링 주파수보다 최대 8배 높은 프레임 레이트로 영상 프레임을 재구성하면서도 주관적 품질과 구조적 정밀도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 0.5Hz 재구성 작업에서 순위 점수 6.84를 기록하여 지도 학습 전용 훈련(순위 14.99)을 크게 뛰어넘었으며, 윌콕슨 부호 순위 검정에서 p-value < 1e-41을 기록했다.
• 지난 지도 학습 전용 훈련 대비 SSIM은 8.8% 향상되고 MSE는 7.1% 감소하여 영상 유사도 측면에서 뚜렷한 향상을 보였다.
• 내부 및 외부 쌍방향이 없는 데이터에서의 자기지도 학습이 가장 높은 성능을 보였으며, 지도 학습 전용 훈련 대비 순위 점수에서 12.7% 향상되었다.
• 고프레임레트(HFR) 재구성(최대 4Hz)은 단순 시간 보간보다 뚜렷이 뛰어나며, 순위 점수 비교에서 p-value 1.42e-81를 기록했다.
• 정량적 지표(SSIM, MSE, 순위)와 시각적 품질 측면에서 모두 최신 기준 성능을 달성하였으며, 정성적 비교 및 주관적 유사도 측정을 통해 확인되었다.
• 제거 분석 결과 내부 및 외부 쌍방향이 없는 데이터 모두가 성능 향상에 기여하며, 조합이 가장 우수한 성능을 내는 것으로 확인되었다.