[论文解读] Computing a human-like reaction time metric from stable recurrent vision models

Lore Goetschalckx, Lakshmi Narasimhan Govindarajan+4 more|arXiv (Cornell University)|Jun 20, 2023

Visual perception and processing mechanisms参考文献 65被引用 8

一句话总结

该论文提出一个刺激可计算反应时代理 xi_cRNN，该代理来自用证据深度学习训练的稳定递归视觉模型，并展示其在四个视觉任务中的人类反应时模式的一致性。

ABSTRACT

The meteoric rise in the adoption of deep neural networks as computational models of vision has inspired efforts to "align" these models with humans. One dimension of interest for alignment includes behavioral choices, but moving beyond characterizing choice patterns to capturing temporal aspects of visual decision-making has been challenging. Here, we sketch a general-purpose methodology to construct computational accounts of reaction times from a stimulus-computable, task-optimized model. Specifically, we introduce a novel metric leveraging insights from subjective logic theory summarizing evidence accumulation in recurrent vision models. We demonstrate that our metric aligns with patterns of human reaction times for stimulus manipulations across four disparate visual decision-making tasks spanning perceptual grouping, mental simulation, and scene categorization. This work paves the way for exploring the temporal alignment of model and human visual strategies in the context of various other cognitive tasks toward generating testable hypotheses for neuroscience. Links to the code and data can be found on the project page: https://serre-lab.github.io/rnn_rts_site.

研究动机与目标

• 在神经网络动力学与人类视觉决策之间建立时间对齐的动机。
• 从 cRNNs 开发一个模型驱动的、对刺激可计算的反应时度量。
• 证明反应时间度量在 qualitatively 层面上与多任务的人类反应时模式保持一致。
• 提供一个框架，用于研究时间动态并生成神经科学假设。

提出的方法

• 以 C-RBP 和证据深度学习（EDL）训练稳定的递归视觉模型（cRNNs），从而获得对类别的狄利克雷分布信念。
• 将 RT 度量 xi_cRNN 定义为随时间变化的模型不确定性曲线下的面积，xi_cRNN = ∫_0^T Epsilon(t) dt。
• 利用吸引子动力学和 EDL 在无额外监督的情况下获得随时间演化的不确定性。
• 将该框架应用于四项任务以评估与人类 RT 的对齐程度：增量分组、视觉仿真（Planko）、迷宫路径推理和场景分类。
• 通过潜在活动 h_t 和空间不确定性映射可视化内部动力学，以解释决策策略。

Figure 1 : Computing a reaction time metric from a recurrent vision model. a. A schematic representation of training a cRNN with evidential deep learning (EDL; [ 30 ] ). Model outputs are interpreted as parameters ( $\boldsymbol{\alpha}$ ) of a Dirichlet distribution over class probability estimates

实验结果

研究问题

• RQ1 xi_cRNN 能否捕捉人类观察到的刺激相关反应时模式？
• RQ2 用 ED L 训练的稳定 cRNN 是否呈现与人类决策时间在不同视觉任务中对齐的时间动态？
• RQ3 xi_cRNN 是否能预测由于任务难度、刺激结构或空间属性而引起的人类 RT 变化？

主要发现

• xi_cRNN 能跟踪刺激相关的 RT 模式，并在四项任务中与人类 RT 的 qualitatively 对齐。
• xi_cRNN 揭示了与人类数据在增量分组中相似的序列性注意力策略和空间各向异性。
• xi_cRNN 在 Planko 任务和迷宫/路径长度条件下与人类 RT 相关，反映对更难刺激的更长处理时间。
• xi_cRNN 能预测场景分类中的可区分性相关 RT 趋势，并与人类 RT 相关（r = 0.19，p < .001）。
• 使用 C-RBP 进行稳定训练可实现稳健、随时间自适应的处理，优于基于 BPTT 的方法。
• 该框架提供一种通用的方法，用于将模型动力学与人类时间处理进行比较并产生神经科学假设。

Figure 2 : Human versus cRNN temporal alignment on an incremental grouping task. a. Description of the task (inspired by cognitive neuroscience studies [ 47 ] ). b. Visualization of the cRNN dynamics. The two lines represent the average latent trajectories across $1K$ validation stimuli labeled ‘‘ye