[論文レビュー] Bayesian Paired-Comparison with the bpcs Package

David Issa Mattos, Érika Martins Silva Ramos|arXiv (Cornell University)|Jan 27, 2021

Statistical Methods and Bayesian Inference参考文献 49被引用数 4

ひとこと要約

本稿は、行動科学研究における対比較データのロバストで柔軟な分析を可能にする、Stanを用いたベイズ的対比較モデルを実装するbpcs Rパッケージを紹介する。非識別的尤度に対しても推定が可能であり、信頼区間を提供し、同点や順序効果を扱い、順位および対比較確率に関する後部分布推論を可能にする。3件の研究の再解析を通じて、頻度主義的手法に比べてモデルの安定性と解釈可能性が向上していることが示された。

ABSTRACT

This article introduces the bpcs R package (Bayesian Paired Comparison in Stan) and the statistical models implemented in the package. This package aims to facilitate the use of Bayesian models for paired comparison data in behavioral research. Bayesian analysis of paired comparison data allows parameter estimation even in conditions where the maximum likelihood does not exist, allows easy extension of paired comparison models, provide straightforward interpretation of the results with credible intervals, have better control of type I error, have more robust evidence towards the null hypothesis, allows propagation of uncertainties, includes prior information, and perform well when handling models with many parameters and latent variables. The bpcs package provides a consistent interface for R users and several functions to evaluate the posterior distribution of all parameters, to estimate the posterior distribution of any contest between items, and to obtain the posterior distribution of the ranks. Three reanalyses of recent studies that used the frequentist Bradley-Terry model are presented. These reanalyses are conducted with the Bayesian models of the bpcs package, and all the code used to fit the models, generate the figures, and the tables are available in the online appendix.

研究の動機と目的

• 頻度主義的対比較モデルの限界、例えば非識別的最尤推定や第一種誤りの制御不良を是正すること。
• 頻度主義的Bradley-Terryモデルおよびその拡張形に対する包括的で使いやすいベイズ的代替手法を提供すること。
• 研究者が事前知識を組み込み、潜在変数を扱い、パラメータ推定の不確実性を伝搬できるようにすること。
• 対比較、順位、モデル予測に関する後部推論ツールを提供し、信頼区間を含むこと。
• 3件の実世界の行動科学研究の再解析を通じて、ベイズモデルの利点を示すこと。

提案手法

• パラメータの後部分布推定のため、マルコフ連鎖モンテカルロ（MCMC）サンプリングによる完全なベイズ的推論をStanで実装する。
• ベイズ的Bradley-Terryモデルおよびその拡張形（同点結果のためのDavidsonモデル、順序効果を含むモデルなど）を実装する。
• 被験者固有の予測子（例：HLOC次元）を用いた階層的モデルと、アイテムレベルの共変量に対する一般化線形モデルをサポートする。
• アイテム間の順位の後部確率および対比較の後部確率を計算する関数を提供する。
• 最高後部密度（HPD）区間を用いて信頼区間推定およびモデル診断を行う。
• モデルフィッティング、後部要約、結果の可視化のための一貫性のあるRインターフェースを提供する。

実験結果

リサーチクエスチョン

• RQ1 最尤推定が失敗する状況において、ベイズ的モデリングが対比較データのパラメータ推定をどのように改善できるか。
• RQ2 第一種誤りの制御および帰無仮説への証拠の観点から、ベイズ的アプローチがどのような利点を提供するか。
• RQ3 被験者固有の予測子（例：HLOC次元）が、役割選好課題における1つの役割を他より選ぶ確率にどのように影響するか。
• RQ4 同点や順序効果といったモデル拡張が、実世界の行動データにおけるフィットと解釈性をどの程度向上させるか。
• RQ5 不確実性とロバストネスの観点から、順位および対比較の後部分布が頻度主義的点推定と比べてどのように異なるか。

主な発見

• 最尤推定が失敗した状況においても、ベイズ的モデルがパラメータを適切に推定でき、スパースまたは非バランスなデータにおいてもロバストであることが示された。
• 役割選好研究において、HLOCが平均から2標準偏差低い被験者は、「能動的」を「受動的」より選ぶ確率が0.80であったのに対し、平均被験者では0.88であった。これはわずかだが測定可能な効果を示している。
• 「医師」のHLOC次元が平均から2標準偏差高い被験者では、「能動的」を「受動的」より選ぶ確率が0.78に低下し、やや小さいが有意な影響が示された。
• 平均被験者では、「協働的」を「受動的・協働的」より選ぶ後部確率は0.98であったが、HLOCの「運」次元が2標準偏差高い場合、0.94に低下した。
• 被験者固有の予測子を含むモデルはフィットを改善したが、選択確率の差に寄与する主な要因は予測子そのものではなく、ベースラインの役割係数であった。
• すべての再解析において、ベイズ的モデルが信頼区間および後部予測分布を通じて、より明確で解釈可能な不確実性推定を提供していることが示された。