[論文レビュー] The Neural Representation Benchmark and its Evaluation on Brain and Machine

Charles F. Cadieu, Ha Hong+4 more|arXiv (Cornell University)|Jan 15, 2013

Visual perception and processing mechanisms参考文献 30被引用数 27

ひとこと要約

本論文は、核行列の固有値分解の順序付き表現を用いて分類損失を測定することにより、マカクの視覚皮質（V4およびIT）における神経表現と機械学習モデルとの直接比較を可能にする、視覚表現を評価するための新規ベンチマークを導入する。高画像変動度の条件下で、深層教師ありネットワーク（Krizhevsky et al., 2012）がIT皮質の性能を上回ることを発見し、これは学習アルゴリズムが現在の霊長類IT表現効率の推定値を超える初めての事例である。

ABSTRACT

A key requirement for the development of effective learning representations is their evaluation and comparison to representations we know to be effective. In natural sensory domains, the community has viewed the brain as a source of inspiration and as an implicit benchmark for success. However, it has not been possible to directly test representational learning algorithms directly against the representations contained in neural systems. Here, we propose a new benchmark for visual representations on which we have directly tested the neural representation in multiple visual cortical areas in macaque (utilizing data from [Majaj et al., 2012]), and on which any computer vision algorithm that produces a feature space can be tested. The benchmark measures the effectiveness of the neural or machine representation by computing the classification loss on the ordered eigendecomposition of a kernel matrix [Montavon et al., 2011]. In our analysis we find that the neural representation in visual area IT is superior to visual area V4. In our analysis of representational learning algorithms, we find that three-layer models approach the representational performance of V4 and the algorithm in [Le et al., 2012] surpasses the performance of V4. Impressively, we find that a recent supervised algorithm [Krizhevsky et al., 2012] achieves performance comparable to that of IT for an intermediate level of image variation difficulty, and surpasses IT at a higher difficulty level. We believe this result represents a major milestone: it is the first learning algorithm we have found that exceeds our current estimate of IT representation performance. We hope that this benchmark will assist the community in matching the representational performance of visual cortex and will serve as an initial rallying point for further correspondence between representations derived in brains and machines.

研究の動機と目的

• 脳と機械の両方における視覚表現を評価するための標準的で定量的なベンチマークを確立すること。
• 神経表現と機械学習表現との間の直接比較の欠如を解消するため、核分析を用いて表現効率を測定すること。
• 最先端の機械学習アルゴリズムが霊長類の視覚皮質領域（V4およびIT）の表現性能をどれだけ再現または上回れるかを評価すること。
• 共通のデータセットとツールを用いて、研究者がマカクのV4およびITからの神経データと自身のモデルを直接比較できるようにすること。
• 脳にインspired および脳を模倣する表現学習システムの間の今後の学際的対応の基盤を提供すること。

提案手法

• ベンチマークは核分析を用い、特徴表現から導出された核行列の順序付き固有値分解における分類損失を計算することで機能する。
• この手法は、意思決定境界の複雑さが増すに従って表現性能を評価し、データセットサイズやサンプリングばらつきの混同要因を回避する。
• マカクV4およびITの神経表現は、Majaj et al. (2012) が得たfMRIおよび電気生理学的データを用い、画像刺激にマッピングする。
• 機械学習モデルは、特徴表現を抽出し、同じ核分析フレームワークを適用することで評価される。
• このベンチマークは小サンプルサイズに対しても頑健であるため、限られた刺激繰り返し回数を持つ神経データの評価に適している。
• 同じ評価プロトコルと指標を用いることで、生物学的表現と人工表現との間で直接的かつ定量的な比較が可能になる。

実験結果

リサーチクエスチョン

• RQ1 脳と機械の両方における視覚表現を評価・比較するための共通の定量的ベンチマークを定義できるか？
• RQ2 霊長類視覚領域ITの表現性能は、V4および最新の深層学習モデルと比べてどうか？
• RQ3 自己教師ありおよび教師ありの深層学習アルゴリズムが、霊長類IT皮質の表現品質をどれだけ再現または上回れるか？
• RQ4 機械学習モデルの性能は、画像変動度の難易度が上昇するにつれて向上するか？また、異なる変動度レベルにおける神経表現との比較は？
• RQ5 核分析は、神経データに一般的な小サンプル環境において、表現効率を評価するための信頼性があり一貫性のある指標として機能するか？

主な発見

• 霊長類視覚領域ITの神経表現はV4を上回り、皮質視覚階層の上位レベルで表現効率が向上していることを示している。
• 3層の深層信念ネットワーク（Le et al., 2012）はV4と同等の性能を達成し、高変動度タスクではそれを上回った。
• 教師あり深層畳み込みネットワーク（Krizhevsky et al., 2012）は中程度の変動度ではITと同等の性能を示し、高変動度タスクではそれを上回った。
• これは、学習アルゴリズムが現在の霊長類IT表現性能推定値を超える初めての事例である。
• このベンチマークは小サンプルサイズでも速やかに収束するため、限られた刺激繰り返し回数を持つ神経データの評価に適している。
• 著者らは画像データセット、分析ツール、V4およびITの神経測定データを公開し、コミュニティ全体での採用と再現性を促進している。