[论文解读] A Neurobiological Cross-domain Evaluation Metric for Predictive Coding Networks.

Nathaniel Blanchard, Jeffery Kinnison+3 more|arXiv (Cornell University)|May 28, 2018

Face Recognition and Perception被引用 1

一句话总结

本文提出了一种人类-模型相似性（HMS）度量方法，通过表示差异矩阵（RDMs）量化fMRI脑部激活模式与人工神经网络激活之间的相似性。该度量与下一帧预测和物体匹配任务中性能的提升相关，并可作为预测编码网络训练中的早停策略指导。

ABSTRACT

Neuroscience theory posits that the brain's visual system coarsely identifies broad object categories via neural activation patterns, with similar objects producing similar neural responses. Artificial neural networks also have internal activation behavior in response to stimuli. We hypothesize that networks exhibiting brain-like activation behavior will demonstrate brain-like characteristics, e.g., stronger generalization capabilities. In this paper we introduce a human-model similarity (HMS) metric, which quantifies the similarity of human fMRI and network activation behavior. To calculate HMS, representational dissimilarity matrices (RDMs) are created as abstractions of activation behavior, measured by the correlations of activations to stimulus pairs. HMS is then the correlation between the fMRI RDM and the neural network RDM across all stimulus pairs. We test the metric on unsupervised predictive coding networks, which specifically model visual perception, and assess the metric for statistical significance over a large range of hyperparameters. Our experiments show that networks with increased human-model similarity are correlated with better performance on two computer vision tasks: next frame prediction and object matching accuracy. Further, HMS identifies networks with high performance on both tasks. An unexpected secondary finding is that the metric can be employed during training as an early-stopping mechanism.

研究动机与目标

• 开发一种度量方法，用于量化人类脑部激活模式与人工神经网络激活之间的相似性。
• 评估具有类脑激活模式的网络是否在视觉任务中表现出更优的泛化能力和性能。
• 评估该度量在无监督预测编码网络的广泛超参数空间中的统计显著性。
• 探索HMS作为模型优化过程中早停训练信号的潜力。

提出的方法

• 从刺激对之间的激活相关性构建fMRI数据和神经网络输出的表示差异矩阵（RDMs）。
• 通过计算所有刺激对上fMRI RDM与网络RDM之间的相关性，计算人类-模型相似性（HMS）。
• 将该度量应用于在视觉感知任务上训练的无监督预测编码网络。
• 在广泛的超参数空间中评估HMS的统计显著性，以验证其稳健性。
• 将HMS得分与下一帧预测和物体匹配任务的性能进行相关性分析。
• 测试该度量作为实时训练信号，以确定最优的停止点。

实验结果

研究问题

• RQ1 具有类脑激活模式的预测编码网络在视觉预测任务中表现出多大程度的性能提升？
• RQ2 HMS度量能否在多种超参数配置下可靠地识别出高性能模型？
• RQ3 HMS是否与下一帧预测和物体匹配任务中的泛化能力相关？
• RQ4 HMS能否作为模型训练过程中有效的早停信号？

主要发现

• HMS值更高的网络在下一帧预测任务中表现出显著更优的性能。
• HMS值的提升与物体匹配任务中更高的准确率相关，表明泛化能力增强。
• HMS度量成功识别出在两项视觉任务中均表现优异的模型。
• 该度量在广泛的超参数范围内表现出统计显著性，支持其可靠性。
• HMS在训练过程中作为早停标准表现出有效性，有助于减少过拟合并提升泛化能力。
• 一个意外但有价值的发现是，HMS可在无需标注数据的情况下指导训练。