[논문 리뷰] Evidential Value in ANOVA-Regression Results in Scientific Integrity Studies

Chris A. J. Klaassen|arXiv (Cornell University)|2014. 05. 18.

Statistical Methods in Clinical Trials참고 문헌 3인용 수 4

한 줄 요약

이 논문은 ANOVA-회귀 연구에서 데이터 조작을 탐지하기 위해 베이지안 증거 가치 프레임워크를 제안한다. 이는 독립성 가정 하에서 관측된 통계적 결과가 너무 좋게 보여서 진실일 수 없다는 점을 평가하는 데 중점을 둔다. 상관 오차를 가진 다변량 정규 모델을 사용하여 우도 비율(증거 가치)의 경계를 유도하며, 검정 통계량 $ Z_{\text{V}} $의 비정상적으로 작은 값은 조작을 시사한다. 이 증거 가치는 항상 $ \geq 1 $이며, 이는 이 모형 하에서 무죄를 입증할 수 있는 증거가 존재하지 않음을 의미한다.

ABSTRACT

Some scientific publications are under suspicion of fabrication of data. Since humans are bad random number generators, there might be some evidential value in favor of fabrication in the statistical results as presented in such papers. In case of ANOVA-Regression studies we present the evidential value of the results of such a study in favor of the hypothesis of a dependence structure in the underlying data, which indicates fabrication, versus the hypothesis of independence, which is the ANOVA model assumption. Applications of this approach are also presented.

연구 동기 및 목표

• 과학적 정합성 조사에서 ANOVA-회귀 결과의 증거 가치를 평가하기 위한 통계적 방법을 개발하는 것.
• ANOVA의 독립성 가정 하에서 너무 좋게 보이는 결과를 식별하여 데이터 조작을 탐지하는 것.
• 데이터 조작 대 비정상성에 유리한 우도 비율(증거 가치)을 계산하거나 경계하는 베이지안 접근법을 제공하는 것.
• 실제 사례, 예를 들어 Forster와 Denzler (2012)에 이 방법을 적용하여 의심스러운 p-값과 모형 적합도를 평가하는 것.
• 증거 가치가 항상 $ \geq 1 $임을 보여주며, 이는 이 모형 하에서 어떤 결과도 무죄를 입증할 수 없음을 의미한다. 이는 나쁜 과학은 좋은 통계로 보완될 수 없다는 원칙을 반영한다.

제안 방법

• 범죄통계학에서 베이지안 프레임워크를 사용하여 사전 오즈와 우도 비율을 조합하여 데이터 조작에 대한 사후 오즈를 계산한다.
• 측정 오차 $ \varepsilon_{ij} $ 간의 상관관계를 통해 데이터 조작을 모델링하며, 표준 ANOVA의 독립성 가정에서 벗어나게 한다.
• 귀무가설 $ \mu_1 - 2\mu_2 + \mu_3 = 0 $ 하에서 점점이 표준 정규분포를 따르는 검정 통계량 $ Z_{\text{V}} = \frac{\sqrt{n}(X_1 - 2X_2 + X_3)}{\sqrt{S_1^2 + 4S_2^2 + S_3^2}} $ 를 정의한다.
• 의존성 및 독립성 구조 하에서 다변량 정규 밀도 함수를 사용하여 증거 가치 $ \mathbb{V} = \frac{f(E|H_F)}{f(E|H_I)} $ 의 경계를 도출한다.
• Forster와 Denzler (2012)의 실제 데이터에 이 방법을 적용하여, 의심스러운 높은 p-값이 조작을 시사함을 확인한다.
• 점점이론을 사용하여 $ Z_{\text{V}} $ 가 귀무가설 하에서 단일 최빈값을 가지며 대칭적인 분포를 띠며, 이는 모형 불일치 탐지에 적합함을 보여준다.

실험 결과

연구 질문

• RQ1 원자료가 제공되지 않을 경우 ANOVA-회귀 결과의 증거 가치를 정량화하여 데이터 조작을 탐지할 수 있는가?
• RQ2 관측된 검정 통계량에 따라 조작된 데이터 모형과 표준 ANOVA 모형 간의 우도 비율(증거 가치)는 어떻게 달라지는가?
• RQ3 상관 오차를 가진 다변량 정규 모형 하에서 ANOVA-회귀 결과의 증거 가치에 대해 어떤 경계를 설정할 수 있는가?
• RQ4 출판된 논문에서 의심스럽게 높은 p-값이 관찰될 경우, 이는 검정 통계량 $ Z_{\text{V}} $ 의 낮은 값과 얼마나 관련이 있는가? 이는 잠재적 데이터 조작을 시사하는가?
• RQ5 증거 가치가 항상 $ \geq 1 $ 인가? 이는 이러한 모형에서 무죄를 입증할 수 있는 증거의 가능성에 대해 어떤 의미를 갖는가?

주요 결과

• 증거 가치 $ \mathbb{V} $ 는 조작 모형 하에서 관측된 결과의 밀도와 정상성 모형 하에서의 밀도의 비율로 정의되며, 항상 $ \geq 1 $ 이다. 이는 이 모형 하에서 어떤 결과도 무죄를 입증할 수 없음을 의미한다.
• 귀무가설 $ \mu_1 - 2\mu_2 + \mu_3 = 0 $ 하에서 검정 통계량 $ Z_{\text{V}} $ 는 점점이 표준 정규분포를 따르며, 그 절대값이 작을수록 잠재적 데이터 조작을 시사한다.
• 정리 4.1에서 유도된 부등식을 통해 증거 가치는 하한 및 상한 경계를 갖는다. 이 경계는 표본 분산과 공분산 행렬의 구조에 따라 달라진다.
• Forster와 Denzler (2012)의 사례에서 관측된 p-값은 너무나도 1에 가까워 의심스러웠으며, 이는 낮은 $ |Z_{\text{V}}| $ 와 일치하여 데이터 조작의 가정을 지지한다.
• 이 방법은 순수 빈도주의 방법과 일치하지만, 동일한 통계량에 대해 베이지안적 해석을 제공한다. 동일 분산성 조건 하에서 $ Z_{\text{V}} $ 와 $ Z_C $ 는 점점이 동치이다.
• 이 방법은 다수의 독립된 연구에서의 증거 가치를 곱하기만 하면 한 출판물의 종합적 정합성을 평가하는 데 사용할 수 있다.