[논문 리뷰] Appropriate Methodology of Statistical Tests According to Prior Probability and Required Objectivity

Tomokazu Konishi|arXiv (Cornell University)|2011. 04. 13.

Gene expression and cancer classification참고 문헌 22인용 수 14

한 줄 요약

이 논문은 p-value 해석과 통계적 검정 방법론이 사전 확률과 필수 객관성에 맞게 조정되어야 하며, 마이크로어레이 데이터를 통해 귀무가설 확률이 변화함에 따라 p-value가 다르게 행동함을 보여주고 있다. 이는 사전 확률이 낮거나 객관성 요구 수준이 높을 경우 베이지안 방법을 우선적으로 고려해야 한다는 것을 시사하며, 다양한 분야에서 통계적 추론의 모순을 해결한다.

ABSTRACT

In contrast to its common definition and calculation, interpretation of p-values diverges among statisticians. Since p-value is the basis of various methodologies, this divergence has led to a variety of test methodologies and evaluations of test results. This chaotic situation has complicated the application of tests and decision processes. Here, the origin of the divergence is found in the prior probability of the test. Effects of difference in Pr(H0 = true) on the character of p-values are investigated by comparing real microarray data and its artificial imitations as subjects of Student's t-tests. Also, the importance of the prior probability is discussed in terms of the applicability of Bayesian approaches. Suitable methodology is found in accordance with the prior probability and purpose of the test.

연구 동기 및 목표

• 통계 공동체 간 p-value 해석의 모순을 해결하기 위해.
• 귀무가설의 사전 확률(Pr(H0 = true))이 p-value 행동과 검정 신뢰성에 미치는 영향을 조사하기 위해.
• 사전 확률과 추론에서 요구되는 객관성 수준에 따라 적절한 통계적 방법론을 결정하기 위해.
• 낮은 사전 확률 상황에서 베이지안 접근법의 적합성을 평가하기 위해.
• 데이터 특성과 연구 맥락에 부합하는 통계적 검정 방법을 선택하기 위한 프레임워크를 제공하기 위해.

제안 방법

• 연구는 실제 마이크로어레이 데이터를 사전 조건이 알려진 인위적 데이터와 비교하여 다양한 사전 확률를 시뮬레이션한다.
• 실제 및 인위적 데이터 세트에 대해 스튜던트의 t-검정을 적용하여, 다양한 Pr(H0 = true) 수준에서 p-value 행동을 평가한다.
• 다양한 사전 가정 하에서 제1종 오류 및 제2종 오류 비율, 그리고 양성 예측값(PPV)을 분석한다.
• 특히 거짓 발견률을 통제하는 데서 베이지안 방법의 성능을 평가한다.
• p-value가 사전 타당성이 忽시될 경우 오해를 낳을 수 있음을 시뮬레이션 기반 비교를 통해 입증한다.
• 검정 방법론을 사전 확률과 객관성 요구 수준에 연결하는 决책 프레임워크를 수립한다.

실험 결과

연구 질문

• RQ1 귀무가설의 사전 확률이 통계적 검정에서 p-value의 해석과 신뢰성에 어떤 영향을 미치는가?
• RQ2 특히 고차원 생물학적 데이터에서 통계적 검정을 선택할 때 사전 확률을 忽시할 경우 어떤 결과가 초래되는가?
• RQ3 귀무가설 H0의 사전 타당성이 낮을 경우, 어떤 맥락에서 베이지안 방법이 흔한 p-value보다 더 적합한가?
• RQ4 다양한 사전 가정 하에서 실제 마이크로어레이 데이터의 p-value는 알려진 귀무분포를 가진 인위적 데이터의 p-value와 어떻게 비교되는가?
• RQ5 통계적 검정에서 빈도주의와 베이지안 방법론 간의 선택을 이끌어내는 기준은 무엇인가?

주요 결과

• p-value는 귀무가설의 사전 확률에 따라 다름을 보이며, 이는 p-value의 보편적 해석에 도전한다.
• H0가 진실일 가능성이 낮을 경우, p-value만으로는 귀무가설에 대한 증거를 과대평가하여 거짓 발견률이 증가한다.
• 알려진 귀무조건을 가진 인위적 데이터는 사전 타당성을 忽시할 경우 p-value가 오해의 소지가 있음을 드러냈다.
• 특히 고차원 데이터인 마이크로어레이와 같은 상황에서, 베이지안 접근법은 오류 통제와 PPV를 크게 향상시킨다.
• 연구는 검정 방법론이 추론의 사전 확률과 요구되는 객관성 수준에 맞게 적응되어야 한다고 입증한다.
• 사전 타당성과 객관성 요구 수준에 따라 검정 선택이 달라지는 맥락 민감한 프레임워크를 제안하며, 통계 실무의 모순을 해결한다.