[論文レビュー] Pitfalls and potentials in simulation studies: Questionable research practices in comparative simulation studies allow for spurious claims of superiority of any method

Samuel Pawel, Lucas Kook+1 more|arXiv (Cornell University)|Mar 24, 2022

Data Analysis with R被引用数 5

ひとこと要約

この論文は、比較的シミュレーション研究における懸念される研究行動（QRPs）が、実際の性能向上がないにもかかわらず、手法の優位性を誤って主張する可能性があることを暴露している。事前に登録されたシミュレーション研究を通じて、著者らは、選択的報告、パラメータチューニング、アウトカムの切り替えといった手法が、いかなる手法でも優位に見えるようにすることができることを示した。これは、シミュレーション研究における事前登録、コード・データ共有、および手法の透明性の向上が、緊急の必要性であることを示している。

ABSTRACT

Comparative simulation studies are workhorse tools for benchmarking statistical methods. As with other empirical studies, the success of simulation studies hinges on the quality of their design, execution and reporting. If not conducted carefully and transparently, their conclusions may be misleading. In this paper we discuss various questionable research practices which may impact the validity of simulation studies, some of which cannot be detected or prevented by the current publication process in statistics journals. To illustrate our point, we invent a novel prediction method with no expected performance gain and benchmark it in a pre-registered comparative simulation study. We show how easy it is to make the method appear superior over well-established competitor methods if questionable research practices are employed. Finally, we provide concrete suggestions for researchers, reviewers and other academic stakeholders for improving the methodological quality of comparative simulation studies, such as pre-registering simulation protocols, incentivizing neutral simulation studies and code and data sharing.

研究の動機と目的

• 比較的シミュレーション研究における懸念される研究行動（QRPs）が、誤った手法優位性の主張に繋がる仕組みを暴露すること。
• 実際の性能向上がないにもかかわらず、選択的報告やパラメータチューニングといったQRPsが用いられると、いかなる手法でも優位に見えることの実例を提示すること。
• 現在のシミュレーション研究報告における方法論的厳密性と透明性の欠如が、再現性と再現可能性を損なっていることの強調。
• 事前登録されたシミュレーションプロトコル、中立的ベンチマーク、コード・データのオープン共有といった改善された基準の提唱。
• 研究者、査読者、出版者に対して、誤ったシミュレーション研究が科学的・臨床的意思決定に与えるリスクを啓発すること。

提案手法

• 実績のある手法と比較して、期待される性能向上がない新しい予測手法を評価する、事前に登録された比較的シミュレーション研究を実施する。
• 性能の差を正式にテストするため、完全に交互作用のある回帰モデル（推定量 ~ 0 + method:scenario）を用いる。
• 各シミュレーション条件下での対比較におけるp値を補正するため、単一ステップの多重検定補正（Hothorn et al., 2008）を適用する。
• モンテカルロ標準誤差の要件を満たすために、初期の小規模な実行結果を用いて最悪状況の分散を推定し、シミュレーション反復回数（B = 2000）を決定する。
• 収束不能のシナリオについては、非収束のシミュレーションを除外し、失敗率を報告する。失敗率が10％を超える場合には、後からパrameter調整を実施する。
• BrierスコアやAUCといった性能指標を用い、ボックスプロットやバイオリンプロットによる視覚的評価、信頼区間を含む要約統計量の算出を実施する。

実験結果

リサーチクエスチョン

• RQ1 懸念される研究行動（QRPs）が、実際の性能優位性のない手法について、どの程度誤った優位性主張を生み出すことができるか？
• RQ2 選択的報告、パラメータチューニング、アウトカムの切り替えといった行動が、シミュレーション研究における統計的手法の認識される性能にどのように歪めをもたらすか？
• RQ3 再現性と再現可能性を損なう現在のシミュレーション研究設計および報告における主な方法論的欠陥は何か？
• RQ4 事前登録とコード・データのオープン共有が、比較的シミュレーション研究の信頼性と透明性をどのように向上させうるか？
• RQ5 研究者、査読者、出版者が、偏ったまたは誤解を招くシミュレーション研究結果のリスクを低減するために、具体的にどのような実践を採用できるか？

主な発見

• 実際の性能向上が期待されない新しい予測手法が、選択的報告やパラメータチューニングといったQRPsを用いることで、既存の手法よりも優位に見えるように操作された。
• QRPsが適用された場合、実際の優位性がなくとも、12.5％のシミュレーション条件下で統計的に有意な優位性主張が達成されたことが示された。
• Brierスコア推定器のモンテカルロ標準誤差を0.0001未満に保つために、必要なシミュレーション反復回数が2000回であると決定された。
• 収束不能の問題は、非収束のシミュレーションを除外し、失敗率を報告することで体系的に処理された。失敗率が10％を超えた場合に限り、後からパrameter調整が実施された。
• 手法とシミュレーション条件の間の交互作用項を含む完全に交互作用のある回帰モデルの使用により、性能差の正式かつ統計的に厳密な比較が可能になった。
• 本研究は、現在のジャーナルのポリシーが、シミュレーション研究における方法論的厳密性を十分に強制していないことが判明した。これは、シミュレーションプロトコルの事前登録やコード・データ共有が行われていないため、検出されないバイアスが残っている余地があることを示している。