[논문 리뷰] Neural Superstatistics for Bayesian Estimation of Dynamic Cognitive Models

Lukas Schumacher, Paul‐Christian Bürkner외 3명|arXiv (Cornell University)|2022. 11. 23.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 신경 슈퍼스테이터스틱스 프레임워크를 제안하여, 딥러닝 기반 베이지안 추론을 통해 시간에 따라 변하는 매개변수를 추정할 수 있도록 인지 모델(예: 확산 결정 모델, DDM)을 확장한다. 고수준 전이 모델이 저수준 관측 모델을 지배하는 계층적 슈퍼스테이터스틱스 구조를 모델링함으로써, 동적인 인지 과정을 정확하고 효율적으로 복원할 수 있으며, 인간의 반응 시간 데이터에서 시간적 변동을 더 잘 포착하는 데서 정적 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Mathematical models of cognition are often memoryless and ignore potential fluctuations of their parameters. However, human cognition is inherently dynamic. Thus, we propose to augment mechanistic cognitive models with a temporal dimension and estimate the resulting dynamics from a superstatistics perspective. Such a model entails a hierarchy between a low-level observation model and a high-level transition model. The observation model describes the local behavior of a system, and the transition model specifies how the parameters of the observation model evolve over time. To overcome the estimation challenges resulting from the complexity of superstatistical models, we develop and validate a simulation-based deep learning method for Bayesian inference, which can recover both time-varying and time-invariant parameters. We first benchmark our method against two existing frameworks capable of estimating time-varying parameters. We then apply our method to fit a dynamic version of the diffusion decision model to long time series of human response times data. Our results show that the deep learning approach is very efficient in capturing the temporal dynamics of the model. Furthermore, we show that the erroneous assumption of static or homogeneous parameters will hide important temporal information.

연구 동기 및 목표

• 인지 과정에서 알려진 동적 변화가 있음에도 불구하고 시간에 따라 변하지 않는 매개변수를 가정하는 정적 인지 모델의 한계를 해결하기 위해.
• 시간에 따라 변하는 매개변수를 가진 복잡한 슈퍼스테이터스틱스 모델에서 베이지안 추론을 위한 융통성 있고 시뮬레이션 기반의 딥러닝 방법을 개발하기 위해.
• 장기간의 인간 반응 시간 데이터에 대해 동적 버전의 확산 결정 모델(DDM)에 적용하여 방법의 효과성을 입증하기 위해.
• 정적 매개변수를 가정할 경우 중요한 시간적 동역학이 가려지고 불필요하게 확대된 불확실성 추정이 발생할 수 있음을 보여주기 위해.
• 기존 프레임워크와의 비교를 통해 본 방법이 인지 과정의 시간적 변동을 더 잘 포착하는 데서의 우월성을 입증하고자 한다.

제안 방법

• 이 방법은 저수준 관측 모델(예: DDM)과 시간에 따라 변하는 매개변수를 지배하는 고수준 전이 모델을 포함하는 계층적 슈퍼스테이터스틱스 모델을 사용한다.
• 시험 간 단계별로 DDM 매개변수의 변화를 모델링하기 위해 상태 기반 가우시안 프로세스(GP)를 사용하여 비마르코프 동역학을 유연하게 표현한다.
• 명시적 우도 계산 없이도 효율적인 사후 추정을 가능하게 하는, 효율화된 베이지안 추론을 위한 시뮬레이션 기반 딥러닝 접근법을 개발한다.
• 추론을 위한 온라인(실시간 시뮬레이션) 및 오프라인(事前 계산된 시뮬레이션) 학습 제도를 모두 지원한다.
• 이 방법은 베이즈플로우 파이썬 라이브러리에 구현되어 있어, 복잡한 인지 모델에 대한 엔드 투 엔드로 확장 가능한 추론을 가능하게 한다.
• 이 프레임워크는 단일 확률 모델 내에서 시간에 따라 변하는 매개변수와 시간에 따라 변하지 않는 매개변수를 동시에 추정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 베이지안 추론 방법은 복잡하고 비마르코프 동역학을 가지는 인지 모델의 시간에 따라 변하는 매개변수를 정확하게 추정할 수 있는가?
• RQ2 제안된 신경 슈퍼스테이터스틱스 방법의 성능은 기존 프레임워크와 비교해 어떻게 다른가?
• RQ3 기본적으로 동적인 인지 과정이 존재하는 상황에서 정적 매개변수를 가정할 경우 어떤 결과가 초래되는가?
• RQ4 실제 인간의 반응 시간 데이터, 특히 장기간의 시계열 데이터에서 이 방법은 의미 있는 시간적 동역학을 회복할 수 있는가?
• RQ5 가우시안 프로세스 전이 모델을 통해 매개변수 동역학을 모델링할 경우, 더 단순한 랜덤 워크 모델보다 더 정확하고 정밀한 예측을 얻을 수 있는가?

주요 결과

• 제안된 딥러닝 방법은 슈퍼스테이터스틱스 인지 모델에서 시간에 따라 변하는 매개변수와 시간에 따라 변하지 않는 매개변수를 모두 높은 정확도와 효율성으로 회복한다.
• 이 방법은 합성 데이터와 실제 데이터에서 기존의 두 프레임워크보다 동적 매개변수 추정 성능이 뛰어나다는 것을 입증한다.
• 장기간의 인간 반응 시간 데이터에 적용했을 때, GP 전이 모델을 가진 동적 DDM은 정적 매개변수 가정 하에서는 가려졌던 도함수 속도와 비결정 시간의 의미 있는 시간적 변동을 포착한다.
• 정적 매개변수를 가정할 경우 불필요하게 확대된 불확실성 추정과 함께 기저의 시간적 경향이 가려지는 것으로 나타났으며, 이는 시뮬레이션과 실제 데이터 응용 모두에서 확인되었다.
• 더 단순한 가우시안 랜덤 워크 모델보다 GP 기반 전이 모델이 새로운 데이터에 대해 더 날카로운 예측 분포를 제공함으로써 더 나은 일반화 능력을 보였다.
• 결과적으로, 인지 모델에서 시간적 동역학을 간과할 경우 그 기술적 설명력, 설명력, 예측 능력이 심각하게 제한될 수 있음을 확인하였다.