[論文レビュー] Deep driven fMRI decoding of visual categories

Michele Svanera, Sergio Benini+4 more|arXiv (Cornell University)|Jan 9, 2017

Face Recognition and Perception参考文献 12被引用数 6

ひとこと要約

本論文は、カーネル線形判別分析（KCCA）を用いて機能的磁気共鳴画像法（fMRI）データと深層ニューラルネットワーク特徴量を結びつけるハイブリッドfMRIデコードフレームワークを提案する。この手法により、高レベルの深層特徴量（fc7層）に一致する部分空間にfMRIデータを投影することで、『顔』と『全身』の人間の図像を分類する性能が向上する。本手法は最大55%の正確性と80%のF1スコアを達成し、fMRIデータのみを用いたデコード法を著しく上回り、被験者間で強く一般化され、10個の主要成分で最適な性能を示す。

ABSTRACT

Deep neural networks have been developed drawing inspiration from the brain visual pathway, implementing an end-to-end approach: from image data to video object classes. However building an fMRI decoder with the typical structure of Convolutional Neural Network (CNN), i.e. learning multiple level of representations, seems impractical due to lack of brain data. As a possible solution, this work presents the first hybrid fMRI and deep features decoding approach: collected fMRI and deep learnt representations of video object classes are linked together by means of Kernel Canonical Correlation Analysis. In decoding, this allows exploiting the discriminatory power of CNN by relating the fMRI representation to the last layer of CNN (fc7). We show the effectiveness of embedding fMRI data onto a subspace related to deep features in distinguishing semantic visual categories based solely on brain imaging data.

研究の動機と目的

• 深層畳み込みニューラルネットワーク（CNN）に類似したfMRIデコーダーを学習する際の脳データの限界を補うために、事前学習済みの深層特徴量を活用すること。
• fMRIデータを用いた細分化された視覚的カテゴリ分類を向上させるために、脳の活動パターンと高レベルの深層ニューラルネットワーク表現を一致させること。
• 判別性の高い深層特徴量に関連する部分空間にfMRIデータを投影する汎用的な手法を開発し、デコード性能を向上させること。
• 実世界の動画データセット（意味的視覚カテゴリを含む）を用いて、人間の図像認識に焦点を当てた手法の妥当性を検証すること。

提案手法

• fMRIボクセル活動パターン（VTCs）と事前学習済みCNNのfc7層からの特徴量の間の線形マッピングを学習するために、カーネル線形判別分析（KCCA）を用いる。
• テスト段階で観測されたfMRIデータからfc7に類似した特徴量を再構築するために、KCCA変換行列のモア・ペンローズ一般化逆行列を用いる。
• 再構築された深層特徴量上で線形SVM分類器を学習し、fMRIデータのみを用いて視覚的カテゴリ（例：顔対全身）の二値分類を実行する。
• 被験者間で正確性とF1スコアを評価し、被験者1人あたり35個の訓練時間点と9個のテスト時間点を用いる。
• 動画フレームからオブジェクト検出特徴量をfaster R-CNNを用いて抽出し、fc7特徴量を意味的分類の高レベル表現として使用する。
• KCCAモデルを1本の映画（『ソフィーの選択』）で学習し、他の映画（『リング2』、『ステップモーダム』、『Xファイル』、『アベンジ』）と被験者間でテストすることで、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 fMRIデータを深層ニューラルネットワーク特徴量に一致する部分空間に効果的に投影することで、視覚的カテゴリ分類のデコード性能が向上するか？
• RQ2 提案されたKCCAベースの特徴量再構築手法は、視覚スタイルが異なる複数の映画および被験者間でどの程度一般化されるか？
• RQ3 fMRIデータから再構築された特徴量（fc7）を用いることで、fMRIデータのみを用いた場合と比較して分類正確性がどの程度向上するか？
• RQ4 再構築された特徴空間における判別力と分類性能のバランスを最適化するための最適な主要成分数（numCC）は何か？

主な発見

• 提案手法は、fMRIデータのみを用いて『顔』と『全身』の人間の図像を区別する分類において、最大55%の正確性と80%のF1スコアを達成し、fMRIのみのデコード法を著しく上回った。
• 最良の性能は10個の主要成分で得られ、fc7特徴量からの判別力と分類の安定性の両方をバランスよく達成した。
• 被験者間で分類性能のばらつきが小さく、被験者間での一般化性能が優れていた。
• 被験者および映画全体を通じて、fMRI特徴量と深層特徴量の間に高い相関（r ≈ 0.7）が観察された。特に『リング2』、『ステップモーダム』、『Xファイル』で顕著で、特徴量の整合性が信頼できることが示された。
• 『アベンジ』では相関が低く、画角、照明、動きのスタイル的差異が要因である可能性があり、視覚的変動が特徴量整合性に与える影響を示唆した。
• fMRIデータから再構築されたfc7特徴量は、有効なデコードを可能にした。fMRIデータが深層学習表現に一致する意味的特徴空間に意味的に埋め込まれることを示した。