[論文レビュー] Testing small study effects in multivariate meta-analysis

Chuan Hong, Georgia Salanti+5 more|arXiv (Cornell University)|May 24, 2018

Meta-analysis and systematic reviews参考文献 28被引用数 7

ひとこと要約

本稿では、出版バイアスとアウトカムレポートバイアスの両方を考慮した多変量メタアナリシスにおける小規模研究効果（SSE）を検出するための新しいスコア検定、Multivariate Small Study Effect Test（MSSET）を提案する。この検定は、研究内相関を必要とせず、相関する複数のアウトカムにわたる証拠を統合する。シミュレーションおよび44件のCochraneレビューにおける実世界の応用において、単変量検定よりも高い検出力を持つことが示された。

ABSTRACT

Small study effects occur when smaller studies show different, often larger, treatment effects than large ones, which may threaten the validity of systematic reviews and meta-analyses. The most well-known reasons for small study effects include publication bias, outcome reporting bias and clinical heterogeneity. Methods to account for small study effects in univariate meta-analysis have been extensively studied. However, detecting small study effects in a multivariate meta-analysis setting remains an untouched research area. One of the complications is that different types of selection processes can be involved in the reporting of multivariate outcomes. For example, some studies may be completely unpublished while others may selectively report multiple outcomes. In this paper, we propose a score test as an overall test of small study effects in multivariate meta-analysis. Two detailed case studies are given to demonstrate the advantage of the proposed test over various naive applications of univariate tests in practice. Through simulation studies, the proposed test is found to retain nominal Type I error with considerable power in moderate sample size settings. Finally, we also evaluate the concordance between the proposed test with the naive application of univariate tests by evaluating 44 systematic reviews with multiple outcomes from the Cochrane Database.

研究の動機と目的

• 多変量メタアナリシス（MMA）における小規模研究効果（SSE）を検出する統計的手法の不足に応えること。MMAでは、複数の相関するアウトカムを同時に分析する。
• 出版バイアスとアウトカムレポートバイアス（ORB）の両方を考慮する検定を開発すること。これらはMMAにおけるSSEの一般的だが、過小評価されがちな要因である。
• 研究内相関を必要とせず、複数のアウトカムにわたる証拠を統合する手法を構築することにより、単変量手法よりも検出力が向上することを目的とする。
• 提案された検定の性能を、シミュレーション研究および実世界のシステマティックレビュー（特に単変量検定と比較して）で評価すること。

提案手法

• 複合尤度に基づくスコア検定を提案し、多変量メタアナリシスにおける全体的なSSEを評価する。複数のアウトカムの同時分布を活用する。
• 検定は、複数のアウトカムにわたる funnel plot の非対称性を検出することを目的とし、複合尤度によって研究間および研究内相関を暗黙的にモデル化する。
• 研究内相関の推定を必要とせず、実務においてしばしば不明または取得困難な相関を、推論においても適切に扱う。
• Eggerの回帰検定を多変量設定に拡張したものであり、アウトカム数J ≥ 2の状況では自然な一般化となる。
• 尤度に基づく枠組みを採用しており、アウトカム間でデータ型やスケールが異なる場合にも柔軟性と頑健性を向上させる。
• スコア検定統計量は、SSEがないという帰無仮説の下で導出され、正則性条件の下で漸近的にカイ二乗分布に従う。

実験結果

リサーチクエスチョン

• RQ1 メタアナリシスに複数のアウトカムが存在する場合、多変量検定は単変量検定よりも小規模研究効果をより効果的に検出できるか？
• RQ2 提案されたMSSETは、出版バイアスおよびアウトカムレポートバイアスのさまざまな状況下で、SSEをどの程度正しく検出できるか？
• RQ3 中程度のサンプルサイズ設定において、MSSETは適切な第一種過誤率を維持し、単変量検定よりも高い統計的検出力を持つのか？
• RQ4 実世界のシステマティックレビューにおいて、複数のアウトカムを含む場合、MSSETは単変量検定の単純な適用と比較してどのように異なるか？
• RQ5 相関するアウトカムを有する実世界の多変量メタアナリシスにおいて、MSSETは単変量手法と比較してSSEをどの程度効果的に検出できるか？

主な発見

• 提案されたMSSET検定は、シミュレーション研究において、中程度のサンプルサイズ設定でも名目水準の第一種過誤率を維持し、顕著な検出力を示した。
• 複数のアウトカムを有する44件のCochraneレビューの実世界分析において、MSSETは有意水準0.10で7件（16%）のメタアナリシスでSSEを検出。単変量検定を上回った。
• Eggerの回帰検定は、両方のアウトカムでSSEを検出できたのは4件（9%）にとどまり、Beggのランク検定およびBonferroni補正を施したEgger検定もSSEを検出できたのは6件（14%）であった。
• MSSETは、Bonferroni補正を施したEgger検定と最も高い一貫性を示し、複数のアウトカムにわたるSSE検出が一貫的であることを示した。
• MSSETは、いかなる単変量検定よりも多くのSSEの事例を検出しており、多変量メタアナリシスにおける潜在的バイアスの同定において、優れた検出力と実用的価値を有することが確認された。
• 本手法は頑健であり、研究内相関を必要としないため、既存の代替手法よりも実用的かつ広く適用可能である。