[論文レビュー] Mental Sampling in Multimodal Representations

Jian-Qiao Zhu, Adam N. Sanborn+1 more|arXiv (Cornell University)|Oct 14, 2017

Language and cultural evolutionSocial Sciences被引用数 16

ひとこと要約

本稿は、人間の認知における精神的サンプリングが、多峰性分布に最適化されたメトロポリス結合マルコフ連鎖モンテカルロ法（MC³）によって最もよく説明されると提唱している。標準的なMCMCとは異なり、MC³は異なる温度で並列に複数の連鎖を走らせるため、認知的表象における離れたピーク間の効率的探索が可能となり、自然にLévy飛行型のステップ長と1/fに類似した長距離時間相関——人間の認知行動における2つの主要な実証的パターン——を生み出す。

ABSTRACT

Both resources in the natural environment and concepts in a semantic space are distributed "patchily", with large gaps in between the patches. To describe people's internal and external foraging behavior, various random walk models have been proposed. In particular, internal foraging has been modeled as sampling: in order to gather relevant information for making a decision, people draw samples from a mental representation using random-walk algorithms such as Markov chain Monte Carlo (MCMC). However, two common empirical observations argue against simple sampling algorithms such as MCMC. First, the spatial structure is often best described by a Lévy flight distribution: the probability of the distance between two successive locations follows a power-law on the distances. Second, the temporal structure of the sampling that humans and other animals produce have long-range, slowly decaying serial correlations characterized as $1/f$-like fluctuations. We propose that mental sampling is not done by simple MCMC, but is instead adapted to multimodal representations and is implemented by Metropolis-coupled Markov chain Monte Carlo (MC$^3$), one of the first algorithms developed for sampling from multimodal distributions. MC$^3$ involves running multiple Markov chains in parallel but with target distributions of different temperatures, and it swaps the states of the chains whenever a better location is found. Heated chains more readily traverse valleys in the probability landscape to propose moves to far-away peaks, while the colder chains make the local steps that explore the current peak or patch. We show that MC$^3$ generates distances between successive samples that follow a Lévy flight distribution and $1/f$-like serial correlations, providing a single mechanistic account of these two puzzling empirical phenomena.

研究の動機と目的

• 標準的なサンプリングモデル（例：MCMC）と人間認知における2つの強固な実証的現象（Lévy飛行型ステップ長分布と1/fに類似した自己相関）との不一致を解消すること。
• 精神的表象が本質的に多峰性であり、高確率領域（「パッチ」）が低確率のギャップで分離されているかどうかを調査すること。
• 元々多峰性ベイズ推論のために開発されたMC³が、人間の精神的サンプリングで観察される空間的および時間的構造を同時に再現できるかどうかを評価すること。
• 認知的サンプリングが単純な独立的またはマルコフ過程に基づいているという仮定を疑い、パッチ状の認知的景観に適したより複雑で適応的なメカニズムを提案すること。

提案手法

• 多峰性分布における離れたモード間の混合を向上させるために、異なる温度で走る複数の並列マルコフ連鎖を用いるMCMCの変種、MC³を採用する。
• 温度に基づいた連鎖間のスワップを実施：高温の連鎖は広範囲の探索（低確率の谷を越えて）を行い、低温の連鎖は局所的探索（高確率のピークに近づいて）を実行する。
• MC³からのサンプル列を生成し、その空間的（サンプル間距離）および時間的（自己相関）構造を分析することで、精神的サンプリングをシミュレートする。
• ステップ長分布およびパワー スペクトル密度の観点から、MC³を基準アルゴリズム（直接サンプリング（DS）、ランダムウォークMCMC（RwM）、標準MCMC）と比較する。
• ブロック平均化されたパワーパワー・スペクトル推定法を用いてパワー スペクトルを推定し、時間的相関における1/fスケーリングを評価する。
• ガウス型提案幅とステップサイズの比を制御パラメータとして用い、受容率およびスペクトル行動に与える影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 1つのサンプリングアルゴリズムが、人間の精神的サンプリングで観察されるLévy飛行型のサンプル間距離分布と1/fに類似した長距離時間相関の両方を説明できるか？
• RQ2 なぜ標準MCMCおよび直接サンプリングは、これら2つの実証的現象を同時に再現できないのか？
• RQ3 精神的表象の多峰性構造が、標準MCMCよりも洗練されたサンプリング手法を必要とするのか？
• RQ4 MC³における温度スワップ機構が、なぜ重尾型ステップ長とスケールフリーな時間的相関を両方生成できるのか？
• RQ5 人間認知における観察された1/fスケーリングは、多峰性サンプリングの副産物なのか、それともパッチ状の環境への認知的適応を反映しているのか？

主な発見

• MC³は、μ ≈ 2 の指数を有するパワー則分布に従うサンプル間距離を生成し、人間の意味的フリーフォールドタスクで観察されたLévy飛行パターンと一致する。
• MC³は、サンプリング列のパワー スペクトルに1/fに類似したスケーリングを示し、低周波数帯で勾配が約-1となり、人間の反応時間で観察された長距離時間的相関を再現する。
• MC³における時間的相関構造は、類似した温度の連鎖間の繰り返しスワップに起因し、最も冷たい連鎖で高周波数の振動を引き起こす。
• 直接サンプリング（ホワイトノイズ）や標準的なランダムウォークMCMC（ブラウンノイズ）とは異なり、MC³は人間認知ダイナミクスの実証データと一致する明確なスペクトル的シグネイチャを生成する。
• MC³のスペクトル行動は2本の連鎖でも安定しており、受容率が高い場合に1/fスケーリングが現れるため、分散係数を有するAR(1)-型プロセスとの関連が示唆される。
• MC³は、1つの整合的なプロセス内でLévy飛行型ステップ長と1/fノイズを両方生成でき、認知科学におけるこれまで別々に扱われてきた2つの現象を統一的な機械的説明で説明可能である。