[論文レビュー] From voxels to pixels and back: Self-supervision in natural-image reconstruction from fMRI

Roman Beliy, Guy Gaziv+4 more|arXiv (Cornell University)|Jul 3, 2019

Advanced MRI Techniques and Applications参考文献 31被引用数 58

ひとこと要約

本研究は、ラベル付きペアとラベルなしデータの両方（未ラベルのテストfMRIを含む）を利用して、fMRIから画像への再構成を可能にする自己教師ありフレームワークを提案し、新たなテスト統計に適応して再構成品質を向上させる。

ABSTRACT

Reconstructing observed images from fMRI brain recordings is challenging. Unfortunately, acquiring sufficient "labeled" pairs of {Image, fMRI} (i.e., images with their corresponding fMRI responses) to span the huge space of natural images is prohibitive for many reasons. We present a novel approach which, in addition to the scarce labeled data (training pairs), allows to train fMRI-to-image reconstruction networks also on "unlabeled" data (i.e., images without fMRI recording, and fMRI recording without images). The proposed model utilizes both an Encoder network (image-to-fMRI) and a Decoder network (fMRI-to-image). Concatenating these two networks back-to-back (Encoder-Decoder & Decoder-Encoder) allows augmenting the training with both types of unlabeled data. Importantly, it allows training on the unlabeled test-fMRI data. This self-supervision adapts the reconstruction network to the new input test-data, despite its deviation from the statistics of the scarce training data.

研究の動機と目的

• Seen imagesをfMRIから再構成するためのラベル付きImage–fMRIペアの不足に対処する。
• 未ラベルデータ（画像とfMRI）を活用してデコード性能を向上させる。
• 未ラベルのテストデータfMRIで訓練することにより、テスト時のデータ統計にモデルを適応させる。
• エンコーダの安定性を維持しつつデコーダ能力を高める二段階訓練パイプラインを開発する。
• 公開された二つのfMRIデータセットに対する頑健性と一般化を示す。

提案手法

• 画像–fMRIペアを用いた教師付きで画像をfMRI応答へ写像するエンコーダを訓練する。
• ラベル付きデータと自己教師付き損失を用いた組み合わせ損失で、fMRIから画像へ写像するデコーダを訓練する。
• Encoder–Decoder経路を介して未ラベル画像の教師なし訓練を組み込み、画像の一貫性を確保する（s -> D(E(s))）。
• Decoder–Encoder経路を介して未ラベルのテストfMRIを組み込み、テスト統計に適応する（r -> E(D(r))）。
• デコーダ訓練中はエンコーダを固定し、自己教師付き目的とのfMRI予測の一貫性を保つ。
• 監督付き画像再構成損失と特徴量・カラー損失・全変動正則化を組み合わせた3部損失L^D + L^ED + L^DEを使用する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付けの未ラベルデータ（画像とテストfMRI）によって、 supervised 学習を超えるfMRIから画像への再構成の改善が見られるか。
• RQ2 ターゲット画像の再構成品質は、未ラベルのテストfMRIに適応することでどう変化するか。
• RQ3 外部の未ラベル画像を使って訓練することは有効か、そしてターゲットの未ラベルテストfMRIへ適応することの影響は大きいか。
• RQ4 二段階の訓練アプローチは、安定性と再構成忠実度にどのような影響を与えるか。

主な発見

• 未ラベルのテストfMRIに対する自己教師付けが再構成品質に最も大きな効果をもたらす。
• 未ラベル自然画像での教師なし訓練は多少の改善を提供するが、テストfMRI適応ほどの影響はない。
• 両方の未ラベルデータを用いた全体の方法は、監督付き訓練だけよりも識別率を高める。
• 2-way識別では、監督付きだけが80.1%に達したのが、全未ラベルデータ訓練で85.3%に上昇。
• vim-1では、全手法はn=2で70.5%の識別率を達成し、競合手法を少なくとも3%上回った。