[論文レビュー] Neural Superstatistics for Bayesian Estimation of Dynamic Cognitive Models

Lukas Schumacher, Paul‐Christian Bürkner+3 more|arXiv (Cornell University)|Nov 23, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、深層学習に基づくベイズ推論を用いて時間的に変化するパラメータを推定するため、認知モデル（例：拡散意思決定モデル、DDM）を拡張するニューラルスーパースタティスティクスフレームワークを提案する。階層的スーパostaティスティクス構造——高レベルの遷移モデルが低レベルの観測モデルを支配する——を用いることで、時間的変動を伴う認知プロセスを正確かつ効率的に回復可能となり、人間の反応時間データにおける時間的変動を捉える点で、静的モデルを上回る性能を示す。

ABSTRACT

Mathematical models of cognition are often memoryless and ignore potential fluctuations of their parameters. However, human cognition is inherently dynamic. Thus, we propose to augment mechanistic cognitive models with a temporal dimension and estimate the resulting dynamics from a superstatistics perspective. Such a model entails a hierarchy between a low-level observation model and a high-level transition model. The observation model describes the local behavior of a system, and the transition model specifies how the parameters of the observation model evolve over time. To overcome the estimation challenges resulting from the complexity of superstatistical models, we develop and validate a simulation-based deep learning method for Bayesian inference, which can recover both time-varying and time-invariant parameters. We first benchmark our method against two existing frameworks capable of estimating time-varying parameters. We then apply our method to fit a dynamic version of the diffusion decision model to long time series of human response times data. Our results show that the deep learning approach is very efficient in capturing the temporal dynamics of the model. Furthermore, we show that the erroneous assumption of static or homogeneous parameters will hide important temporal information.

研究の動機と目的

• 認知に時間的変動が生じるにもかかわらず、時間不変パラメータを仮定する静的認知モデルの限界を是正すること。
• 時間的変動パラメータを有する複雑なスーパostaティスティクスモデルにおける、柔軟でシミュレーションベースの深層学習手法によるベイズ推論の開発。
• 長時間の人間の反応時間データに、動的バージョンの拡散意思決定モデル（DDM）を適用することで、本手法の有効性を実証すること。
• 静的パラメータを仮定すると、重要な時間的ダイナミクスが隠れ、不確実性の推定が過大評価されることを示すこと。
• 既存のフレームワークと比較し、本手法が認知プロセスの時間的変動をよりよく捉えられることを検証すること。

提案手法

• 本手法は、低レベルの観測モデル（例：DDM）と、時間的変動パラメータを支配する高レベルの遷移モデルを有する階層的スーパostaティスティクスモデルを採用する。
• 試行ごとのDDMパラメータの変化を、状態依存のガウス過程（GP）でモデル化することで、柔軟でマルコフ的でないダイナミクスを実現する。
• 明示的な尤度計算なしに後方分布推定を効率的に行える、アモルタイズドベイズ推論のためのシミュレーションベースの深層学習アプローチを開発する。
• 推論のためのオンライン（リアルタイムシミュレーション）およびオフライン（事前計算済みシミュレーション）の両方のトレーニング体制をサポートする。
• 本手法はBayesFlow Pythonライブラリに実装されており、複雑な認知モデルにおけるエンドツーエンドでスケーラブルな推論を可能にする。
• 本フレームワークは、単一の確率的モデル内で時間的変動パラメータと時間不変パラメータの両方を同時に推定可能である。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づくベイズ推論手法は、非マルコフ的で複雑なダイナミクスを有する認知モデルの時間的変動パラメータを、正確に推定できるか？
• RQ2 提案されたニューラルスーパースタティスティクス手法の性能は、既存のフレームワークと比較して、動的パラメータ推定において優れているか？
• RQ3 認知プロセスが本質的に動的であるにもかかわらず、静的パラメータを仮定するとどのような影響が生じるか？
• RQ4 本手法は、特に長時間系列データにおいて、実際の人間の反応時間データの意味のある時間的ダイナミクスを回復できるか？
• RQ5 ガウス過程を用いた遷移モデルでパラメータダイナミクスをモデル化すると、単純なランダムウォークモデルに比べ、より正確で精密な予測が得られるか？

主な発見

• 提案された深層学習手法は、スーパスタティスティクス認知モデルにおける時間的変動パラメータおよび時間不変パラメータの両方を、高い正確性と効率性で回復できた。
• 本手法は、合成データおよび実データの両方で、2つの既存フレームワークを上回る性能を示し、動的パラメータ推定において優れた性能を発揮した。
• 長時間の人間の反応時間データに適用した結果、GPを用いた遷移モデルを備えた動的DDMは、静的パラメータ仮定では見えない、ドリフトレートおよび非意思決定時間における意味のある時間的変動を捉えた。
• 静的パラメータを仮定すると、不確実性の推定が過大評価され、背後にある時間的トレンドが隠れてしまうことが、シミュレーションおよび実データ応用の両方で示された。
• GPベースの遷移モデルは、単純なガウスランダムウォークモデルに比べ、未観測データに対する予測分布が鋭くなった。これは、一般化性能の向上を示している。
• 結果から、認知モデルにおける時間的ダイナミクスを無視すると、記述的・説明的・予測的パワーが著しく制限されることを確認した。