[論文レビュー] Optimizing deep video representation to match brain activity

Hugo Richard, Ana Lúısa Pinho+2 more|arXiv (Cornell University)|Sep 7, 2018

Face Recognition and Perception参考文献 8被引用数 4

ひとこと要約

本研究では、アクション認識のためのKineticsで事前学習されたTemporal Segment Network (TSN) を用いて、自然な映画視聴中のfMRI脳活動を予測するため、深層動画表現を最適化する。視覚処理における中心視野／周辺視野の二分法的特徴が明らかになった。中心視野領域は高レベルのRGB特徴によって最もよく予測され、周辺視野領域は低レベルの光流特徴によって予測され、空間圧縮手法を用いることでPCAを凌駕した。

ABSTRACT

The comparison of observed brain activity with the statistics generated by artificial intelligence systems is useful to probe brain functional organization under ecological conditions. Here we study fMRI activity in ten subjects watching color natural movies and compute deep representations of these movies with an architecture that relies on optical flow and image content. The association of activity in visual areas with the different layers of the deep architecture displays complexity-related contrasts across visual areas and reveals a striking foveal/peripheral dichotomy.

研究の動機と目的

• 自然な刺激下における深層動画表現から全脳fMRI活動を予測する手法を開発すること。
• 深層ニューラルネットワーク内の抽象化の異なる段階が、ヒトの視覚皮質における機能的組織とどのように対応するかを調査すること。
• 計算効率と予測性能を向上させるために、深層動画特徴に効率的な空間圧縮手法を導入すること。
• 深層ネットワーク層の活性化を対比分析することで、視錘皮質組織（中心視野対周辺視野）の神経的相関を解明すること。

提案手法

• アクション認識のためのKineticsデータセットで事前学習されたInception v3に基づくTemporal Segment Network (TSN) を用い、カラーナチュラルムービーから深層動画表現を抽出する。
• RGBおよび光流ストリームの4つの畳み込み層（L1–L4）からの活性化統計を抽出し、階層的特徴抽象化を捉える。
• 高次元特徴を空間的構造を保持したまま圧縮するため、空間平滑化と時間平均化（2秒ごとに1つの表現）を適用する。
• 線形回帰モデルを用い、1.5mm等方分解能で取得した被験者固有のfMRIデータから深層動画特徴を予測するfMRIボクセル活動を予測する。
• チャネル構造を保持する新規圧縮手法を導入し、予測性能がPCAを上回ることを確認した。
• 機能的特化を同定するため、予測スコアの対比（例：L4_rgb - L2_rgb、L1_flow - L4_rgb）を計算する。

実験結果

リサーチクエスチョン

• RQ1 自然な映画視聴中に、深層ニューラルネットワーク内の抽象化の異なる段階が、視覚皮質領域の機能的特化とどのように対応するか。
• RQ2 アクション認識ネットワークから得られる深層動画表現は、人間全脳のfMRI活動を高い精度で予測できるか。
• RQ3 視錘皮質組織（中心視野対周辺視野）と、特定の深層ネットワーク層の予測力との関係は何か。
• RQ4 深層動画特徴に適用する新規空間圧縮手法は、PCAなどの標準的手法を上回る予測性能を示すか。
• RQ5 生画像ストリームと光流ストリームは、中心視野領域と周辺視野領域の活動予測にどのように異なる寄与をしているか。

主な発見

• 本研究では、深層動画表現を用いて全脳fMRI活動を予測し、予測スコアが偶然より有意に高いことが確認された。
• 頭頂小脳および側頭視覚領域には明確なパターンが見られた：低レベル層（L1–L2）は初期視覚領域の活動を予測し、高レベル層（L3–L4）は側頭および後頭ストリーム領域の活動を予測した。
• 中心視野／周辺視野の二分法的特徴が顕著に明らかになった：中心視野領域は高レベルRGB特徴（L4_rgb）で最もよく予測され、周辺視野領域は低レベル光流特徴（L1_flow）で最もよく予測された。
• L1_flow - L4_rgbの対比は、好ましい拡散度の視錘皮質マップとよく一致しており、この差が中心視野対周辺視野処理を特異的に符号化していることを確認した。
• 提案された深層動画特徴の圧縮手法はPCAを上回る予測性能を示し、顕著な表現忠実度の損失なしに高速な学習が可能となった。
• 3つの主要な対比（L2_flow - L4_flow、L2_rgb - L4_rgb、L1_flow - L4_rgb）に基づくパラセレーションにより、3つの主要クラスタが同定された：中心視野（濃い青）、周辺視野（緑）、側頭／抽象的物体符号化（黄色）領域。