[논문 리뷰] Significance tests and sample homogeneity loophole

Marian Kupczyński|arXiv (Cornell University)|2015. 05. 23.

Quantum Mechanics and Applications참고 문헌 14인용 수 4

한 줄 요약

이 논문은 과학적 연구, 특히 양자역학 실험에서의 유의성 검정이 '표본 동질성의 틈새'로 인해 손상된다고 주장한다. 이는 데이터 표본이 일관되고 대표적인지 확인하지 못한 실패를 의미한다. 저자는 엄격한 동질성 검정이 이루어지지 않으면, 벨 유형 부등식 위반과 같은 통계적으로 유의미한 결과조차 신뢰할 수 없다고 주장하며, 결과의 타당성을 확보하기 위해 이 틈새를 닫아야 한다고 촉구한다.

ABSTRACT

In their recent comment, published in Nature, Jeffrey T.Leek and Roger D.Peng discuss how P-values are widely abused in null hypothesis significance testing . We agree completely with them and in this short comment we discuss the importance of sample homogeneity tests. No matter with how much scrutiny data are gathered if homogeneity tests are not performed the significance tests suffer from sample homogeneity loophole and the results may not be trusted. For example sample homogeneity loophole was not closed in the experiment testing local realism in which a significant violation of Eberhard inequality was found. We are not surprised that Bell type inequalities are violated since if the contextual character of quantum observables is properly taken into account these inequalities cannot be proven. However in order to trust the significance of the violation sample homogeneity loophole must be closed. Therefore we repeat after Jeffrey T.Leek and Roger D.Peng that sample homogeneity loophole is probably just the tip of the iceberg.

연구 동기 및 목표

• 유의성 검정에서 표본 동질성의 중요성은 중요하지만 자주 간과되는 역할을 부각시키는 것.
• 동질성 검정이 이루어지지 않으면, p-값이 낮더라도 통계적 결과의 타당성이 훼손된다는 것을 주장하는 것.
• 에버하르드의 부등식을 통한 국소 실재성 검증 실험과 같은 핵심 실험들에서 표본 동질성 틈새가 닫히지 않았음을 입증하는 것.
• 이 틈새가 과학 전 분야에서의 통계적 실천에 더 깊이 뿌리내린 문제의 징후일 수 있음을 강조하는 것.
• 유의성 검정 절차에 동질성 검정을 표준 요구사항으로 통합할 것을 주장하는 것.

제안 방법

• 유의성 검정 이전에 표본 동질성을 기존의 통계적 방법을 사용해 검증할 것을 제안한다.
• 특히 양자 기초 연구 분야에서 표본 동질성을 忽略할 경우 발생하는 영향을 분석한다.
• 에버하르드 부등식 위반 실험을 사례 연구로 삼아, 검증되지 않은 표본 동질성의 결과를 설명한다.
• 양자 관측량의 연속성(컨텍스트추성)을 인정한다면 벨 유형 부등식 위반은 놀랍지 않지만, 동질성 검사 없이선 유의성에 의문이 제기된다는 것을 주장한다.
• p-값에 의존하기 전에 데이터 품질 평가의 체계적 접근이 필요하다고 강조한다.
• 유의성 검정을 위한 전제 조건으로 동질성 검정을 포함하도록 통계적 실천의 패러다임 전환을 촉구한다.

실험 결과

연구 질문

• RQ1 p-값이 통계적으로 유의미한데도 유의성 검정이 왜 여전히 신뢰할 수 없는가?
• RQ2 표본 동질성은 양자역학 실험에서 통계적 결론의 타당성을 어떻게 약화시키는가?
• RQ3 표본 동질성 틈새가 해결되지 않아 에버하르드 부등식 위반의 해석에 어떤 영향을 미쳤는가?
• RQ4 표본 동질성 틈새는 통계적 방법론의 보편적인 결함을 어느 정도 반영하는가?
• RQ5 과학적 연구에서 유의성 검정의 신뢰성을 확보하기 위해 어떤 방법론적 변화가 필요한가?

주요 결과

• 표본 동질성 틈새는 p-값이 낮더라도 유의성 검정의 신뢰성을 떨어뜨린다.
• 국소 실재성에 대한 반론으로 자주 언급되는 에버하르드 부등식 위반 실험은 검증되지 않은 표본 동질성 틈새를 악용했다.
• 양자 관측량의 연속성(컨텍스트추성)을 올바르게 인정한다면, 벨 유형 부등식 위반은 놀랍지 않다.
• 동질성 검정이 이루어지지 않으면 통계적으로 유의미한 결과조차 신뢰할 수 없다.
• 표본 동질성 틈새는 과학 전반에서의 통계적 실천에 더 깊이 뿌리내린 체계적 문제의 징후일 수 있다.
• 실험 물리학 및 그 외 분야에서 유의성 검정 결과의 신뢰성을 확보하기 위해 표본 동질성 틈새를 닫는 것이 필수적이다.