[논문 리뷰] Recommendations for Bayesian hierarchical model specifications for case-control studies in mental health

Vincent Valton, Toby Wise외 1명|arXiv (Cornell University)|2020. 11. 03.

Mental Health Research Topics참고 문헌 5인용 수 13

한 줄 요약

이 연구는 정신건강 연구에서 베이지안 계층모형을 사용할 때 사례-대조 그룹을 별도로 피팅하는 것이 바람직하다고 권장한다. 계산 정신의학 과제에서 별도의 그룹 수준 사전분포를 사용할 경우, 공유 사전분포를 사용하는 것보다 더 정확하고 강건하며 편향이 적은 진짜 효과 크기 회복이 가능함을 입증한다. 특히 데이터 품질이 열 劣한 조건에서도 그러한 경향이 뚜렷하다. 반면 공유 사전분포를 사용하는 경우 효과 크기를 체계적으로 과소평가하고 거짓 음성 비율을 높인다.

ABSTRACT

Hierarchical model fitting has become commonplace for case-control studies of cognition and behaviour in mental health. However, these techniques require us to formalise assumptions about the data-generating process at the group level, which may not be known. Specifically, researchers typically must choose whether to assume all subjects are drawn from a common population, or to model them as deriving from separate populations. These assumptions have profound implications for computational psychiatry, as they affect the resulting inference (latent parameter recovery) and may conflate or mask true group-level differences. To test these assumptions we ran systematic simulations on synthetic multi-group behavioural data from a commonly used multi-armed bandit task (reinforcement learning task). We then examined recovery of group differences in latent parameter space under the two commonly used generative modelling assumptions: (1) modelling groups under a common shared group-level prior (assuming all participants are generated from a common distribution, and are likely to share common characteristics); (2) modelling separate groups based on symptomatology or diagnostic labels, resulting in separate group-level priors. We evaluated the robustness of these approaches to variations in data quality and prior specifications on a variety of metrics. We found that fitting groups separately (assumptions 2), provided the most accurate and robust inference across all conditions. Our results suggest that when dealing with data from multiple clinical groups, researchers should analyse patient and control groups separately as it provides the most accurate and robust recovery of the parameters of interest.

연구 동기 및 목표

• 사례-대조 정신건강 연구에서 다양한 계층모형 사양이 그룹 차이 회복 정확도에 미치는 영향을 평가하는 것.
• 환자 그룹과 대조 그룹을 공통 또는 별도의 그룹 수준 사전분포로 모델링할 때 거짓 양성과 거짓 음성 결과 간의 상충관계를 다루는 것.
• 데이터 품질(참가자 수와 시도 수)이 다양한 모델링 가정 하에서 모델 성능에 미치는 영향을 정량화하는 것.
• 계산 정신의학에서 모델 사양에 대한 근거 기반 권고를 제공하는 것.

제안 방법

• 안정적인 매개변수 회복을 보장하기 위해 변동 보상 확률을 가진 다중팔다리 랜덤워크 강화학습 과제에서 시뮬레이션된 데이터.
• 사례 그룹과 대조 그룹 간 잠재 매개변수 공간(학습률)의 겹침 정도를 다양하게 조절한 36개의 합성 데이터셋 생성.
• 학습률를 0에서 1 사이로 제약하기 위해 베타 사전분포를 사용하고, 농도 매개변수를 변화시켜 그룹 유사도 수준을 시뮬레이션.
• 모든 모델에서 일관된 그룹 수준 사전분포 캘리브레이션을 확보하기 위해 Stan을 사용해 모델 피팅(2개의 체인, 각각 3000개 샘플, 1000개 워밍업).
• 모델 성능 평가에 F1 점수, 거짓 양성/음성 비율, Cohen’s d 기반 효과 크기 회복의 절대 오차를 사용.
• 모델의 강건성을 시험하기 위해 참가자 수(50 → 15)와 시도 수(200 → 40)를 감소시켜 데이터 품질 열 劣 조건을 시뮬레이션.

실험 결과

연구 질문

• RQ1 공통 그룹 수준 사전분포를 사용해 사례 그룹과 대조 그룹을 모델링할 경우, 별도의 사전분포를 사용하는 것보다 진짜 그룹 차이 회복 정확도가 더 높은가?
• RQ2 공통과 별도의 그룹 수준 사전분포 모델 간 거짓 양성 및 거짓 음성 비율은 어떻게 다를까?
• RQ3 참가자 수나 시도 수가 적은 데이터 품질 조건에서 각 모델링 접근법의 효과 크기 회복 정확도는 어떻게 영향을 받는가?
• RQ4 다양한 데이터 품질 조건에서 가장 강건하고 편향이 적은 효과 크기 추정을 제공하는 모델 사양은 무엇인가?

주요 결과

• Model 2(별도의 그룹 수준 사전분포)는 진짜 그룹 차이를 회복하는 데 F1 점수 98.26%를 기록하여 Model 1(96.73%)보다 높은 전반적 정확도를 보였다.
• Model 1은 Model 2(1.75%)에 비해 유의미하게 높은 거짓 음성 비율(6.03%)을 보였으며, 이는 진짜 그룹 차이를 과소평가함을 시사한다.
• Model 1은 저시도 조건에서 진짜 효과 크기를 최대 -64% 과소평가했고, 반면 Model 2는 최악의 경우에도 오직 +29.09%의 오차를 보였다.
• Model 2는 모든 데이터 품질 조합에서 일관되게 낮은 효과 크기 회복 절대 오차를 보이며 더 강건한 성능을 보였다.
• Model 1의 공유 사전분포에 의한 정규화는 특히 데이터 품질이 열 劣한 조건에서 효과 크기를 체계적으로 과소평가했으며, 진짜 효과를 놓칠 위험을 증가시켰다.
• 약간 높은 거짓 양성 비율(2.66% 대 0.48%)을 보였음에도 불구하고, Model 2의 뛰어난 민감도와 정확도로 인해 정신건강 연구에서 선호되는 선택이다.