[論文レビュー] More Than Meets the Eye: Self-Supervised Depth Reconstruction From Brain Activity

Guy Gaziv, Michal Irani|arXiv (Cornell University)|Jun 9, 2021

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文は、自己教師あり学習を用いて、fMRI脳活動から直接的に高密度な3次元深度マップを再構築する最初の手法を提示する。非ペアの自然画像に事前に学習された単眼深度推定モデルを活用し、深度に基づく知覚的類似性指標を導入することで、再構築された画像からの間接的深度回復を上回る性能を達成した。直接的深度予測は1000分類タスクにおいて平均深度順位97を達成し、間接的手法よりも顕著に優れている。

ABSTRACT

In the past few years, significant advancements were made in reconstruction of observed natural images from fMRI brain recordings using deep-learning tools. Here, for the first time, we show that dense 3D depth maps of observed 2D natural images can also be recovered directly from fMRI brain recordings. We use an off-the-shelf method to estimate the unknown depth maps of natural images. This is applied to both: (i) the small number of images presented to subjects in an fMRI scanner (images for which we have fMRI recordings - referred to as "paired" data), and (ii) a very large number of natural images with no fMRI recordings ("unpaired data"). The estimated depth maps are then used as an auxiliary reconstruction criterion to train for depth reconstruction directly from fMRI. We propose two main approaches: Depth-only recovery and joint image-depth RGBD recovery. Because the number of available "paired" training data (images with fMRI) is small, we enrich the training data via self-supervised cycle-consistent training on many "unpaired" data (natural images & depth maps without fMRI). This is achieved using our newly defined and trained Depth-based Perceptual Similarity metric as a reconstruction criterion. We show that predicting the depth map directly from fMRI outperforms its indirect sequential recovery from the reconstructed images. We further show that activations from early cortical visual areas dominate our depth reconstruction results, and propose means to characterize fMRI voxels by their degree of depth-information tuning. This work adds an important layer of decoded information, extending the current envelope of visual brain decoding capabilities.

研究の動機と目的

• fMRIを用いた視覚再構築をRGB画像再構築にとどまらず、高密度な3次元深度マップに拡張すること。
• fMRI-画像ペアデータの不足に応じて、推定深度マップが付与された大規模な非ペア自然画像を活用すること。
• 知覚的一致性を向上させるために、自己教師あり学習フレームワークを構築し、fMRIからの深度再構築を改善すること。
• fMRIボクセルの深度情報への感受性と色/RGBコンテンツへの感受性を定量化すること。

提案手法

• 事前に学習された単眼深度モデル（MiDaS）を用いて、ペア化されたfMRI画像および大規模な非ペア自然画像の両方の深度マップを推定する。
• 非ペアデータ上でサイクル整合的な自己教師あり学習を用いて、fMRI活動を深度マップ（またはRGBD）にマッピングする深層エンコーダデコーダネットワークを訓練する。
• 事前に学習された深度ネットワークの特徴を用いて再構築の忠実度をガイドする、新しい深度ベースの知覚的類似性指標を導入する。
• 再構築された深度マップが人間の深度知覚と一貫しており、知覚的に意味のあるものであることを保証するため、知覚的根拠に基づく損失関数を用いる。
• 共有エンコーダおよびデコーダコンポーネントを有する2つの主なアーキテクチャを訓練する：深度のみの回復と、RGBDの共同回復。
• 個々のfMRIボクセルが深度情報にどれほど選択的に応答するかを定量化するためのボクセル深度感受性インデックス（VDSI）を提案する。

実験結果

リサーチクエスチョン

• RQ1 fMRI脳活動から中間の画像再構築に依存せずに、直接的に高密度な3次元深度マップを再構築できるか？
• RQ2 推定深度マップが付与された非ペア自然画像上で自己教師あり学習を実施することで、fMRIを用いた深度再構築が向上するか？
• RQ3 再構築されたRGB画像を経由する間接的深度回復と比較して、fMRIからの直接的深度予測の精度はどのように異なるか？
• RQ4 どの脳領域およびボクセルがfMRI活動において深度情報に最も感受性を示すか？
• RQ5 個々のfMRIボクセルを、深度情報へのチューニング度合いの観点から体系的に特徴付けられるか？

主な発見

• 直接的なRGBDアプローチは1000分類タスクにおいて平均深度順位97を達成し、間接的手法（それぞれ38および56順位）を顕著に上回った。
• 深度再構築性能は主に一次視覚皮質（LVC、V1–V3）のボクセルによって駆動されており、上位視覚皮質（HVC）のボクセルは深度デコードにあまり寄与していない。
• 提案された深度ベースの知覚的類似性指標は、再構築を効果的にガイドし、知覚的に妥当な深度マップを生成した。
• ボクセル深度感受性インデックス（VDSI）は複数のデータセットで強く一貫しており、大多数のボクセルが色よりも深度に低感受性であることが示された。
• 直接的深度予測手法は、同じ1000分類タスクにおいて平均RGB順位16を達成し、高品質な画像および深度再構築性能を示した。
• 本研究は、深度がfMRIを用いた脳の再構築において実用的で情報豊富なモダリティであることを示し、脳活動から回復可能な視覚情報の範囲を拡張した。