[論文レビュー] Evidential Value in ANOVA-Regression Results in Scientific Integrity Studies

Chris A. J. Klaassen|arXiv (Cornell University)|May 18, 2014

Statistical Methods in Clinical Trials参考文献 3被引用数 4

ひとこと要約

本稿は、分散分析回帰研究におけるデータ捏造を検出するためのベイズ的証拠価値枠組みを提案する。この枠組みは、独立性仮定下での観察された統計的結果が、真に良い結果である可能性が極めて低いかどうかを評価する。相関誤差を伴う多変量正規モデルを用いて、尤度比（証拠価値）の上限と下限を導出し、異常に小さい値の検定統計量 $ Z_{\text{V}} $ が捏造を示唆することを示している。証拠価値は常に $ \geq 1 $ であり、このモデル下では無実証拠が得られないことを意味する。

ABSTRACT

Some scientific publications are under suspicion of fabrication of data. Since humans are bad random number generators, there might be some evidential value in favor of fabrication in the statistical results as presented in such papers. In case of ANOVA-Regression studies we present the evidential value of the results of such a study in favor of the hypothesis of a dependence structure in the underlying data, which indicates fabrication, versus the hypothesis of independence, which is the ANOVA model assumption. Applications of this approach are also presented.

研究の動機と目的

• 科学的整合性の調査において、分散分析回帰結果の証拠価値を評価する統計的手法を開発すること。
• 分散分析の独立性仮定下で「ありえないほど良い」結果が得られた場合に、データ捏造を検出すること。
• データ捏造対比で整合性を保った状態の尤度比（証拠価値）を計算または上限・下限で評価するベイズ的手法を提供すること。
• 実例（例：FörsterとDenzler, 2012）にこの手法を適用し、疑わしいp値とモデル適合度を評価すること。
• 証拠価値が常に $ \geq 1 $ であること、すなわちこのモデル下ではいかなる結果も無実証拠となり得ないことを示し、良い統計が悪い科学を補填できないという原則を反映すること。

提案手法

• 法科学的統計においてベイズ的枠組みを用い、事前オッズと尤度比を組み合わせて、データ捏造の事後オッズを計算する。
• セル間で相関する測定誤差 $ \varepsilon_{ij} $ を導入することで、標準分散分析の独立性仮定からの逸脱をモデル化する。
• 検定統計量 $ Z_{\text{V}} = \frac{\sqrt{n}(X_1 - 2X_2 + X_3)}{\sqrt{S_1^2 + 4S_2^2 + S_3^2}} $ を定義し、帰無仮説 $ \mu_1 - 2\mu_2 + \mu_3 = 0 $ の下で漸近的に標準正規分布に従うことを示す。
• 依存構造と独立構造の下での多変量正規密度関数を用いて、証拠価値 $ \mathbb{V} = \frac{f(E|H_F)}{f(E|H_I)} $ の上限・下限を導出する。
• FörsterとDenzler (2012) の実データにこの手法を適用し、疑わしいほど高いp値が、捏造の兆候であることを示している。
• 漸近的理論を用いて、$ Z_{\text{V}} $ が帰無仮説下で単峰的かつ対称な分布を示すことを示し、モデル適合度の検出に有効であることを裏付ける。

実験結果

リサーチクエスチョン

• RQ1 元データが入手不可能な状況下でも、分散分析回帰結果の証拠価値を定量化し、データ捏造を検出できるか。
• RQ2 観察された検定統計量に依存する、捏造データモデルと標準分散分析モデルとの間の尤度比（証拠価値）の関係は何か。
• RQ3 相関誤差を伴う多変量正規モデル下で、分散分析回帰結果の証拠価値にどの程度の上限・下限を設定できるか。
• RQ4 出版された研究における疑わしいほど高いp値は、検定統計量 $ Z_{\text{V}} $ の低値とどの程度相関するか。これは、データ操作の兆候を示唆する。
• RQ5 証拠価値は常に $ \geq 1 $ であるか。この性質は、このようなモデル下で無実証拠が得られる可能性について何を示唆するか。

主な発見

• 証拠価値 $ \mathbb{V} $ は、捏造下での観察結果の密度と整合性下での密度の比として定義され、常に $ \geq 1 $ である。これは、このモデル下ではいかなる結果も無実証拠となり得ないことを意味する。
• 検定統計量 $ Z_{\text{V}} $ は、帰無仮説 $ \mu_1 - 2\mu_2 + \mu_3 = 0 $ の下で漸近的に標準正規分布に従い、その絶対値が小さいほど、データ捏造の兆候である。
• 定理4.1で導出された不等式により、証拠価値は標本分散と相関行列の構造に依存する下限・上限で有界である。
• FörsterとDenzler (2012) の事例では、観察されたp値が1に極めて近く、$ |Z_{\text{V}}| $ の低値と整合的であり、データ操作の仮説を支持する。
• このアプローチは頻度主義的手法と整合するが、同じ統計量に対してベイズ的解釈を提供する。同様に、等分散性下では $ Z_{\text{V}} $ と $ Z_C $ は漸近的に同等である。
• 複数の独立した研究からの証拠価値を乗算することで、出版物全体の整合性を評価することが可能になる。