[論文レビュー] A Penny for Your (visual) Thoughts: Self-Supervised Reconstruction of Natural Movies from Brain Activity

Ganit Kupershmidt, Roman Beliy+2 more|arXiv (Cornell University)|Jun 7, 2022

Cell Image Analysis Techniques被引用数 10

ひとこと要約

本論文は、エンコーダー（動画からfMRI）とデコーダー（fMRIから動画）の間でサイクル整合性を保つトレーニングを用いて、豊富な未対応の自然動画データを活用することで、fMRI脳活動から自然な映像を再構築する自己教師付きフレームワークを提案する。この手法は最先端の再構築品質を達成し、fMRIのサンプリングレートを超えて最大×8の高フレームレートでの動画復元を可能にし、教師あり手法のベースラインと比較して時間的整合性と詳細回復が顕著に向上する。

ABSTRACT

Reconstructing natural videos from fMRI brain recordings is very challenging, for two main reasons: (i) As fMRI data acquisition is difficult, we only have a limited amount of supervised samples, which is not enough to cover the huge space of natural videos; and (ii) The temporal resolution of fMRI recordings is much lower than the frame rate of natural videos. In this paper, we propose a self-supervised approach for natural-movie reconstruction. By employing cycle-consistency over Encoding-Decoding natural videos, we can: (i) exploit the full framerate of the training videos, and not be limited only to clips that correspond to fMRI recordings; (ii) exploit massive amounts of external natural videos which the subjects never saw inside the fMRI machine. These enable increasing the applicable training data by several orders of magnitude, introducing natural video priors to the decoding network, as well as temporal coherence. Our approach significantly outperforms competing methods, since those train only on the limited supervised data. We further introduce a new and simple temporal prior of natural videos, which - when folded into our fMRI decoder further - allows us to reconstruct videos at a higher frame-rate (HFR) of up to x8 of the original fMRI sample rate.

研究の動機と目的

• fMRIからの自然な映像再構築の挑戦に取り組む。これは、対応データが疎く、時間分解能が低いという制限に起因する。
• 豊富な未対応の自然動画データを活用することで、十分な対応fMRI-動画データが不足している問題を克服し、自己教師学習による事前学習を実現する。
• 自然な動画のダイナミクスをモデル化する自己教師学習時間的事前分布を導入することで、再構築された動画の時間的整合性を向上させる。
• 元のfMRIサンプリングレート（0.5Hz）よりも最大×8の高フレームレート（HFR）再構築を可能にする。これは補間を超える時間的ダイナミクスを学習することによって実現される。
• 定量的指標と再構築動画の知覚的品質の両面で、従来の教師あり手法を上回ることを目的とする。

提案手法

• 未対応の動画クリップ上で学習するサイクル整合性のある自己教師付きフレームワークを採用：エンコーダーは動画クリップをfMRIに類似した表現にマップし、デコーダーはその表現を元の動画フレームに再構築する。
• エンコーダ-デコーダーのサイクル（E-D）は、同じ動画データセットからの未対応クリップと外部の未対応自然動画の両方を用いて学習され、対応fMRI-動画例をはるかに超えてトレーニングデータを拡張する。
• 自己教師学習はサイクル整合性を介して適用される：fMRI表現から元の動画クリップに再構築し、再び元に戻すプロセスであり、この段階ではfMRIラベルを必要としない。
• 自然な動画のダイナミクスをモデル化することで、連続する再構築フレーム間の滑らかで整合性のある遷移を強制する、新しい自己教師学習時間的事前分布を導入する。
• デコーダーは、元のfMRIサンプリングレート（0.5Hz）よりも高いフレームレート（最大4Hz）で動画を再構築するように学習される。これにより、微細な時間的詳細の回復が可能になる。
• 限られた対応fMRI-動画データでの教師あり微調整と、未対応データにおける広範な自己教師学習事前学習を組み合わせることで、一般化性能と再構築忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 未対応の自然動画データ上で自己教師学習を実施することで、教師あり手法に比べてfMRIベースの動画再構築が顕著に向上するか？
• RQ2 fMRIのサンプリングが疎く低レートである場合、再構築された動画の時間的整合性をどのように向上できるか？
• RQ3 自己教師学習時間的事前分布は、元のfMRIサンプリングレートに存在しない高フレームレートのダイナミクスをどの程度回復できるか？
• RQ4 対応データのみで学習するのと比較して、外部の未対応動画データでの事前学習は一般化性能と再構築品質を向上させるか？
• RQ5 提案手法は、fMRIサンプリングレートよりも最大8倍高いフレームレートで動画フレームを再構築可能であり、知覚的・構造的忠実度を維持できるか？

主な発見

• 提案手法は0.5Hz再構築タスクでランクスコア6.84を達成し、教師あり学習のみの手法（ランク14.99）を著しく上回り、ウィルコクソン符号順位検定のp値は1e-41未満である。
• 教師あり学習のみの手法と比較して、SSIMは8.8%向上、MSEは7.1%低減され、画像類似度の顕著な向上が確認された。
• 内部および外部の両方の未対応データに対する自己教師学習が最良の性能をもたらし、教師あり学習のみの手法と比較してランクスコアで12.7%の改善を達成した。
• 高フレームレート（HFR）再構築（最大4Hz）は、単純な時間的補間を著しく上回り、ランクスコア比較におけるp値は1.42e-81であった。
• 定量的指標（SSIM、MSE、ランク）と視覚的品質の両面で、本手法は最先端の結果を達成しており、定性的な比較と知覚的類似度測定によって裏付けられた。
• アブレーションスタディにより、内部および外部の未対応データの両方が性能向上に顕著に寄与しており、併用が最良の結果をもたらすことが確認された。