[論文レビュー] A Neurobiological Cross-domain Evaluation Metric for Predictive Coding Networks.

Nathaniel Blanchard, Jeffery Kinnison+3 more|arXiv (Cornell University)|May 28, 2018

Face Recognition and Perception被引用数 1

ひとこと要約

本論文では、表象不一致行列（RDMs）を用いてfMRI脳活性化パターンと人工ニューラルネットワークの活性化の類似性を定量化する人間モデル類似性（HMS）指標を導入する。この指標は、次フレーム予測およびオブジェクトマッチングタスクにおける性能向上と相関し、予測符号化ネットワークにおける訓練の早期停止を支援することができる。

ABSTRACT

Neuroscience theory posits that the brain's visual system coarsely identifies broad object categories via neural activation patterns, with similar objects producing similar neural responses. Artificial neural networks also have internal activation behavior in response to stimuli. We hypothesize that networks exhibiting brain-like activation behavior will demonstrate brain-like characteristics, e.g., stronger generalization capabilities. In this paper we introduce a human-model similarity (HMS) metric, which quantifies the similarity of human fMRI and network activation behavior. To calculate HMS, representational dissimilarity matrices (RDMs) are created as abstractions of activation behavior, measured by the correlations of activations to stimulus pairs. HMS is then the correlation between the fMRI RDM and the neural network RDM across all stimulus pairs. We test the metric on unsupervised predictive coding networks, which specifically model visual perception, and assess the metric for statistical significance over a large range of hyperparameters. Our experiments show that networks with increased human-model similarity are correlated with better performance on two computer vision tasks: next frame prediction and object matching accuracy. Further, HMS identifies networks with high performance on both tasks. An unexpected secondary finding is that the metric can be employed during training as an early-stopping mechanism.

研究の動機と目的

• 人間の脳活性化パターンと人工ニューラルネットワークの活性化の類似性を定量化する指標の開発。
• 脳に類似した活性化パターンを示すネットワークが、視覚タスクにおける一般化能力および性能を向上させるかどうかの評価。
• 無作為な予測符号化ネットワークにおける広範なハイパーパrameter空間における指標の統計的有意性の評価。
• モデル最適化中の訓練の早期停止にHMSを訓練信号として用いる可能性の探求。

提案手法

• fMRIデータおよびニューラルネットワーク出力の両方について、刺激ペア間の活性化相関から表象不一致行列（RDMs）を構築する。
• 人間モデル類似性（HMS）は、すべての刺激ペアに対してfMRI RDMとネットワークRDMの相関として計算される。
• この指標は、視覚認識タスクに訓練された非教師あり予測符号化ネットワークに適用される。
• HMSの統計的有意性は、広範なハイパーパrameter空間で評価され、その頑健性が検証される。
• 次フレーム予測およびオブジェクトマッチングタスクにおける性能は、HMSスコアと相関される。
• 指標は、最適な停止点を特定するためのリアルタイムの訓練信号としてテストされる。

実験結果

リサーチクエスチョン

• RQ1 予測符号化ネットワークが脳に類似した活性化パターンを示す場合、視覚予測タスクにおける性能がどの程度向上するか。
• RQ2 HMS指標は、多様なハイパーパrameter設定において、高精度なモデルを信頼性を持って同定できるか。
• RQ3 HMSは、次フレーム予測およびオブジェクトマッチングタスクの両方における一般化能力と相関するか。
• RQ4 HMSは、モデル訓練中の早期停止の有効な信号として使用できるか。

主な発見

• HMSがより高いネットワークは、次フレーム予測タスクで顕著に優れた性能を示した。
• HMSの上昇は、オブジェクトマッチングタスクにおける高い正確性と相関し、一般化能力の向上を示した。
• HMS指標は、両方の視覚タスクで優れた性能を発揮するモデルを効果的に同定した。
• HMSは広範なハイパーパrameter範囲で統計的有意性を示し、その信頼性を裏付けた。
• HMSは、訓練中の早期停止基準として効果的であり、過学習を低減し、一般化能力を向上させた。
• 予期しないが価値ある発見として、HMSはラベルなしデータを必要とせずに訓練をガイドできることを示した。