[論文レビュー] Recommendations for Bayesian hierarchical model specifications for case-control studies in mental health

Vincent Valton, Toby Wise+1 more|arXiv (Cornell University)|Nov 3, 2020

Mental Health Research Topics参考文献 5被引用数 13

ひとこと要約

本研究では、精神医学研究におけるベイジアン階層モデルにおいて、症例対照群を別々に適合させることを推奨している。計算精神病学タスクにおいて、共通の事前分布を用いて群をプールする手法に比べ、別々の群レベル事前分布を用いることで、真の効果量の回復がより正確で、頑健かつバイアスのない結果が得られることを示している。特にデータ品質が低い状況下でも同様の傾向が見られる。一方、共通の事前分布を用いる手法は、効果量を系aticallyに低く見積もっており、偽陰性率を上昇させる。

ABSTRACT

Hierarchical model fitting has become commonplace for case-control studies of cognition and behaviour in mental health. However, these techniques require us to formalise assumptions about the data-generating process at the group level, which may not be known. Specifically, researchers typically must choose whether to assume all subjects are drawn from a common population, or to model them as deriving from separate populations. These assumptions have profound implications for computational psychiatry, as they affect the resulting inference (latent parameter recovery) and may conflate or mask true group-level differences. To test these assumptions we ran systematic simulations on synthetic multi-group behavioural data from a commonly used multi-armed bandit task (reinforcement learning task). We then examined recovery of group differences in latent parameter space under the two commonly used generative modelling assumptions: (1) modelling groups under a common shared group-level prior (assuming all participants are generated from a common distribution, and are likely to share common characteristics); (2) modelling separate groups based on symptomatology or diagnostic labels, resulting in separate group-level priors. We evaluated the robustness of these approaches to variations in data quality and prior specifications on a variety of metrics. We found that fitting groups separately (assumptions 2), provided the most accurate and robust inference across all conditions. Our results suggest that when dealing with data from multiple clinical groups, researchers should analyse patient and control groups separately as it provides the most accurate and robust recovery of the parameters of interest.

研究の動機と目的

• 症例対照研究における群差の回復精度に、さまざまな階層的モデル仕様が与える影響を評価すること。
• 患者群と対照群を共通の群レベル事前分布と別々の群レベル事前分布の下でモデル化する際の、偽陽性と偽陰性の結果のトレードオフを扱うこと。
• データ品質（被験者数と試行回数）が、異なるモデル仮定下でのモデル性能に与える影響を定量化すること。
• 計算精神病学におけるモデル仕様のベストプラクティスに関する、根拠に基づく推奨事項を提供すること。

提案手法

• 変動する報酬確率を有するマルチアームドバンディット強化学習タスクからシミュレートされたデータを用い、安定したパラメータ回復を確保した。
• 症例群と対照群の潜在的パラメータ空間（学習率）の重なり具合を変化させた36の合成データセットを生成した。
• 学習率を0〜1の範囲に制約するため、ベータ事前分布を用い、濃度パラメータを変化させて、異なるレベルの群の類似性をシミュレートした。
• Stanを用いてモデルを適合させ、2本のチェーンを3000サンプル（1000ウォームアップ）で実行し、全モデルで一貫した群レベル事前分布のキャリブレーションを確保した。
• F1スコア、偽陽性・偽陰性率、およびCohenのdによる効果量回復の絶対誤差を用いて、モデル性能を評価した。
• 被験者数（50 → 15）と試行回数（200 → 40）を減少させることで、データ品質が低い状況での頑健性をテストした。

実験結果

リサーチクエスチョン

• RQ1 共通の群レベル事前分布を用いて症例群と対照群をモデル化することは、別々の事前分布を用いる場合に比べ、真の群差の回復がより正確であるか？
• RQ2 共通の群レベル事前分布モデルと別々の群レベル事前分布モデルの間で、偽陽性率と偽陰性率はどのように異なるか？
• RQ3 被験者数や試行回数が少ない（データ品質が低い）状況では、各モデルアプローチにおける効果量回復の正確性にどのような影響を与えるか？
• RQ4 さまざまなデータ品質条件下で、最も頑健でバイアスのない効果量推定を提供するモデル仕様はどれか？

主な発見

• モデル2（別々の群レベル事前分布）は、真の群差の回復において、モデル1（96.73%）に比べて高いF1スコア（98.26%）を達成しており、全体的な精度が優れていることが示された。
• モデル1は、モデル2（1.75%）に比べ有意に高い偽陰性率（6.03%）を示しており、真の群差を低く見積もっていることが判明した。
• モデル1は、低試行回数条件下で、真の効果量を最大で-64%まで低く見積もったが、モデル2は最悪ケースでも+29.09%の誤差にとどまった。
• モデル2は、すべてのデータ品質の組み合わせにおいて、一貫して低い効果量回復の絶対誤差を示し、データの摂動に対してより頑健であった。
• モデル1の共通事前分布による正則化は、特にデータ品質が低い状況下で、効果量の系統的低減を引き起こしており、実際の効果を見逃すリスクを高めた。
• やや高い偽陽性率（2.66% vs. 0.48%）を示したが、モデル2の優れた感度と正確性から、精神保健研究において好ましい選択肢であると結論づけられた。