[论文解读] Mental Sampling in Multimodal Representations

Jian-Qiao Zhu, Adam N. Sanborn+1 more|arXiv (Cornell University)|Oct 14, 2017

Language and cultural evolutionSocial Sciences被引用 16

一句话总结

该论文提出，人类认知中的心理采样最好由马尔可夫链蒙特卡洛（MC³）方法解释，该方法专为多模态分布设计。与标准MCMC不同，MC³通过在不同温度下并行运行多个马尔可夫链，实现对心理表征中相距较远峰值的高效探索，自然产生具有Lévy飞行分布特征的步长和类似1/f的长程时间相关性——这两种模式是人类认知行为中的两个关键经验现象。

ABSTRACT

Both resources in the natural environment and concepts in a semantic space are distributed "patchily", with large gaps in between the patches. To describe people's internal and external foraging behavior, various random walk models have been proposed. In particular, internal foraging has been modeled as sampling: in order to gather relevant information for making a decision, people draw samples from a mental representation using random-walk algorithms such as Markov chain Monte Carlo (MCMC). However, two common empirical observations argue against simple sampling algorithms such as MCMC. First, the spatial structure is often best described by a Lévy flight distribution: the probability of the distance between two successive locations follows a power-law on the distances. Second, the temporal structure of the sampling that humans and other animals produce have long-range, slowly decaying serial correlations characterized as $1/f$-like fluctuations. We propose that mental sampling is not done by simple MCMC, but is instead adapted to multimodal representations and is implemented by Metropolis-coupled Markov chain Monte Carlo (MC$^3$), one of the first algorithms developed for sampling from multimodal distributions. MC$^3$ involves running multiple Markov chains in parallel but with target distributions of different temperatures, and it swaps the states of the chains whenever a better location is found. Heated chains more readily traverse valleys in the probability landscape to propose moves to far-away peaks, while the colder chains make the local steps that explore the current peak or patch. We show that MC$^3$ generates distances between successive samples that follow a Lévy flight distribution and $1/f$-like serial correlations, providing a single mechanistic account of these two puzzling empirical phenomena.

研究动机与目标

• 解决标准采样模型（如MCMC）与人类认知中两个稳健经验现象之间的不匹配问题：Lévy飞行步长分布和类似1/f的序列相关性。
• 探究心理表征是否本质上具有多模态结构，即高概率区域（‘斑块’）之间由低概率间隙分隔，从而需要专门的采样算法。
• 评估MC³——最初为多模态贝叶斯推断而开发——是否能同时再现人类心理采样中观察到的空间与时间结构。
• 挑战认知采样基于简单、独立或马尔可夫过程的假设，转而提出一种更适合于斑块状认知景观的更复杂、自适应机制。

提出的方法

• 采用MC³，即MCMC的一种变体，通过在不同温度下并行运行多个马尔可夫链，以改善多模态分布中相距较远模式之间的混合。
• 使用基于温度的链间交换机制：较热的链广泛探索（穿越低概率山谷），而较冷的链则专注于局部精细探索（停留在高概率峰值附近）。
• 通过从MC³生成样本序列来模拟心理采样，并分析其空间结构（样本间距离）和时间结构（自相关性）。
• 将MC³与基线算法（直接采样DS、随机游走MCMC RwM和标准MCMC）进行比较，评估其在步长分布和功率谱密度方面的表现。
• 应用分块平均周期图法估计功率谱，并评估时间相关性中的1/f标度行为。
• 使用提议分布标准差与步长之比作为控制参数，以研究其对接受率和谱行为的影响。

实验结果

研究问题

• RQ1 是否存在一种单一采样算法，能够同时解释人类心理采样中观察到的样本间距离的Lévy飞行分布和类似1/f的长程时间相关性？
• RQ2 为何标准MCMC和直接采样无法同时再现这两种经验现象？
• RQ3 心理表征的多模态结构是否意味着需要比标准MCMC更复杂的采样机制？
• RQ4 MC³中的温度交换机制如何同时生成重尾步长和无标度时间相关性？
• RQ5 人类认知中观察到的1/f标度是多模态采样的副产品，还是反映了对斑块状环境的更深层次认知适应？

主要发现

• MC³生成的样本间距离遵循幂律分布，指数μ ≈ 2，与人类语义流畅性任务中观察到的Lévy飞行模式一致。
• MC³在采样序列的功率谱中表现出类似1/f的标度行为，低频段斜率接近-1，再现了人类反应时间中观察到的长程时间相关性。
• MC³中的时间相关结构源于温度相近的链之间反复交换，这种交换在最冷的链中诱导出高频振荡。
• 与直接采样（白噪声）或标准随机游走MCMC（褐噪声）不同，MC³产生一种独特的谱特征，与人类认知动态的经验数据高度匹配。
• 即使仅使用两条链，MC³的谱行为依然稳健，且当接受率较高时，1/f标度行为会显现，表明其可能与具有分布系数的AR(1)类过程存在关联。
• MC³可在单一、一致的过程中同时生成Lévy飞行步长和1/f噪声，为认知科学中两个此前独立的现象提供了统一的机制解释。