[論文レビュー] Conflict diagnostics for evidence synthesis in a multiple testing framework

Anne M. Presanis, David Ohlssen+3 more|arXiv (Cornell University)|Feb 23, 2017

Statistical Methods and Bayesian Inference参考文献 33被引用数 5

ひとこと要約

本稿は、ベイジアングラフィカルモデルにおける証拠統合のための体系的で矛盾診断フレームワークを提案する。これは、有向無閉路グラフ（DAG）内のノード間での不一致を評価する際の複数検定を考慮したものである。ノードスプリットによる矛盾p値に最大T型の複数検定補正を適用することで、複雑な証拠統合におけるモデルとデータの不一致を堅牢に検出可能となる。実際のネットワークメタアナリシスおよびHIV有病率推定の事例で検証された。

ABSTRACT

Evidence synthesis models that combine multiple datasets of varying design, to estimate quantities that cannot be directly observed, require the formulation of complex probabilistic models that can be expressed as graphical models. An assessment of whether the different datasets synthesised contribute information that is consistent with each other, and in a Bayesian context, with the prior distribution, is a crucial component of the model criticism process. However, a systematic assessment of conflict suffers from the multiple testing problem, through testing for conflict at multiple locations in a model. We demonstrate the systematic use of conflict diagnostics, while accounting for the multiple hypothesis tests of no conflict at each location in the graphical model. The method is illustrated by a network meta-analysis to estimate treatment effects in smoking cessation programs and an evidence synthesis to estimate HIV prevalence in Poland.

研究の動機と目的

• 複数の不一致に関する仮説検定がタイプIエラーの増大を引き起こす可能性がある、証拠統合モデルにおける体系的で矛盾の検出を困難にする課題に対処すること。
• DAG内の複数のノードや部分集合において不一致を評価する際の複数検定を考慮した手法を開発し、統計的妥当性を確保すること。
• データ、事前分布、モデル仮定の間の不一致を検出する原理的かつ一貫したアプローチを提供することで、ベイジアン証拠統合におけるモデル批判を改善すること。
• ネットワークメタアナリシスやHIV有病率推定といった実世界の応用において、単一の検定アプローチでは隠されがちな矛盾する証拠を明らかにすることの有効性を示すこと。
• グローバルな検定に依存するのではなく、ノード単位での包括的評価を推奨することで、局所的な不一致を逃がさない。

提案手法

• DAGにおけるノードスプリットを用いて、分離ノードでモデルを2つの独立した部分グラフに分割し、局所的な不一致評価を可能にする。
• 各ノードスプリットにおけるデータとモデル仮定の整合性を評価するため、交差検証的診断としての矛盾p値を用いる。
• すべてのノードスプリット検定における家族-wise 偽陽性率を制御するため、最大T型複数検定補正フレームワーク（Hothorn et al., 2008; Bretz et al., 2011）を適用する。
• 事後予測チェックを実装し、事前分布下でのモデルの予測分布と観察されたデータの整合性を評価する。
• 条件付き独立性をグラフ構造によって符号化するモジュール型で階層的なベイジアンフレームワークを用いて、証拠統合モデルを有向無閉路グラフ（DAG）として表現する。
• 対比ベースおよびアームベースのパrameterizationの両方を適用し、ネットワークメタアナリシスおよび有病率推定に焦点を当て、分割選択への感受性を検討する。

実験結果

リサーチクエスチョン

• RQ1 複数のノードで不一致を検証する際、複数検定によるタイプIエラーの増大を防ぐために、どのようにしてベイジアン証拠統合モデル全体に体系的な矛盾診断を適用できるか？
• RQ2 ノードスプリットの分割方法がDAGにおける不一致検出に与える影響は何か？また、そのばらつきはどのように是正できるか？
• RQ3 最大T型複数検定補正は、統計的検出力の維持を保ちつつ、矛盾診断における家族-wise 偽陽性率を効果的に制御できるか？
• RQ4 モデルパラメータ化の選択（例：対比ベース vs. アームベース）がネットワークメタアナリシスにおける不一致検出に与える影響は何か？
• RQ5 グローバルな不一致検定は、なぜ局所的な不一致を検出できないのか？また、包括的なノード単位の評価がモデル批判をどのように改善できるか？

主な発見

• 提案手法は、DAGにおける複数ノードでの不一致検定に最大T補正を適用することで、家族-wise 偽陽性率を効果的に制御した。
• 矛盾診断はノードスプリットの分割選択に敏感であり、異なる分割では不一致の有無に関する異なる結論が得られることがある。
• 帰無仮説（不一致なし）の下で、矛盾p値は広範な階層モデルクラスにおいて一様分布に従うことが示され、診断ツールとしての有効性が裏付けられた。
• グローバルな不一致検定は分割選択に依存しないため、その限界が顕在化する。
• すべての可能なノードスプリットから出発する体系的かつノード単位の不一致評価は、孤立したグローバル検定よりも信頼性が高く、他のアプローチに隠されていた不一致を検出可能である。
• デザイン×治療相互作用モデルがノードスプリットモデルの飽和表現であることが示され、既存の不一致モデルと提案された診断フレームワークとの間の正式な関連性が示唆された。