[論文レビュー] Category decoding of visual stimuli from human brain activity using a bidirectional recurrent neural network to simulate bidirectional information flows in human visual cortices

Kai Qiao, Jian Chen+5 more|arXiv (Cornell University)|Mar 19, 2019

Visual perception and processing mechanisms参考文献 35被引用数 5

ひとこと要約

本稿では、ヒトの視覚皮質における上行的および下行的情報フローを模倣することで、fMRIデータから視覚的物体カテゴリを復号するための双方向再帰的ニューラルネットワーク（BRNN）モデルを提案する。視覚領域（V1–LO）のfMRIボクセル反応を順序付き入力として扱うことで、BRNNは階層的かつ双方向の表現を捉え、従来の手法と比較してより高い3段階カテゴリ復号精度を達成する。

ABSTRACT

Recently, visual encoding and decoding based on functional magnetic resonance imaging (fMRI) have realized many achievements with the rapid development of deep network computation. Despite the hierarchically similar representations of deep network and human vision, visual information flows from primary visual cortices to high visual cortices and vice versa based on the bottom-up and top-down manners, respectively. Inspired by the bidirectional information flows, we proposed a bidirectional recurrent neural network (BRNN)-based method to decode the categories from fMRI data. The forward and backward directions in the BRNN module characterized the bottom-up and top-down manners, respectively. The proposed method regarded the selected voxels of each visual cortex region (V1, V2, V3, V4, and LO) as one node in the sequence fed into the BRNN module and combined the output of the BRNN module to decode the categories with the subsequent fully connected layer. This new method allows the efficient utilization of hierarchical information representations and bidirectional information flows in human visual cortices. Experiment results demonstrated that our method improved the accuracy of three-level category decoding than other methods, which implicitly validated the hierarchical and bidirectional human visual representations. Comparative analysis revealed that the category representations of human visual cortices were hierarchical, distributed, complementary, and correlative.

研究の動機と目的

• ヒト視覚皮質における双方向的情報フローを模倣する深層学習モデルを開発し、fMRIデータからの視覚的物体カテゴリの復号精度を向上させること。
• 上行的および下行的処理をモデル化することで、単方向またはフィードフォワードネットワークと比較して、復号性能が向上するかどうかを調査すること。
• ヒト視覚皮質領域に跨る視覚的カテゴリ表現の階層的・分散的・相関的性質を検証すること。
• 皮質活動の順序モデリングを通じて、fMRIデータを用いた多段階視覚的カテゴリ分類の精度を向上させること。

提案手法

• 本手法は、5つの視覚皮質領域（V1, V2, V3, V4, LO）からのfMRIボクセル反応を順序付き入力として処理する双方向再帰的ニューラルネットワーク（BRNN）を用いる。
• 各領域の選択されたボクセルを、順序の中の単一のノードとして扱い、BRNNが皮質領域間の時間的ダイナミクスをモデル化できるようにする。
• BRNNの順方向は、初期視覚領域から高次の視覚領域への上行的処理を模倣し、逆方向は上行的フィードバックをモデル化する。
• BRNNの順方向および逆方向の隠れ状態を連結し、最終的なカテゴリ分類のための全結合層に供給する。
• 教師あり学習を用いて、fMRI活動パターンから視覚的物体カテゴリを予測するように、モデルをエンドツーエンドで訓練する。
• 階層的かつ双方向の表現を活用することで、復号性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚皮質における双方向的情報フローのモデル化が、fMRIデータからのカテゴリ復号精度を向上させることができるか？
• RQ2 視覚領域に跨る階層的および分散的表現は、カテゴリ復号にどのように寄与するか？
• RQ3 再帰的アーキテクチャにおいて、上行的および下行的処理の組み合わせが、単方向またはフィードフォワードモデルよりも効果的であるか？
• RQ4 異なる視覚皮質領域に跨る視覚的カテゴリ表現は、どの程度補完的かつ相関的であるか？

主な発見

• 提案されたBRNNベースの手法は、fMRIデータセットにおいて、他の最先端手法と比較してより高い3段階カテゴリ復号精度を達成した。
• 精度の向上は、fMRIデータにおける視覚的カテゴリ表現を、双方向的情報フローのモデル化が向上させていることを示唆している。
• 比較的分析により、ヒト視覚皮質における視覚的カテゴリ表現が階層的・分散的・補完的・相関的であることが確認された。
• 結果は、BRNNアーキテクチャがヒト視覚処理を模倣する上で生物学的に妥当であることを間接的に裏付けている。
• BRNNの順方向および逆方向は、視覚情報フローにおける上行的および下行的処理ダイナミクスを効果的に捉えていた。