[논문 리뷰] Statistical inference optimized with respect to the observed sample for single or multiple comparisons

David R. Bickel|arXiv (Cornell University)|2010. 10. 04.

Statistical Methods in Clinical Trials참고 문헌 44인용 수 16

한 줄 요약

이 논문은 사전 분포가 필요 없이 단순 귀무가설에 대한 증거를 측정할 수 있는 새로운 통계적 증거 척도인 분류 정보(DI)를 도입한다. 이는 정규화된 최대우도(NML) 비율에 기반하며, 최소최대 최적성, 渐近적 해석 가능성, 부수적 정보에 대한 강건성 등을 갖추고 있다. 특히 작은 표본 크기에서도 다중 비교에 대한 민감도가 매우 낮아 전통적인 p-값 보정의 필요성을 줄인다.

ABSTRACT

The normalized maximum likelihood (NML) is a recent penalized likelihood that has properties that justify defining the amount of discrimination information (DI) in the data supporting an alternative hypothesis over a null hypothesis as the logarithm of an NML ratio, namely, the alternative hypothesis NML divided by the null hypothesis NML. The resulting DI, like the Bayes factor but unlike the p-value, measures the strength of evidence for an alternative hypothesis over a null hypothesis such that the probability of misleading evidence vanishes asymptotically under weak regularity conditions and such that evidence can support a simple null hypothesis. Unlike the Bayes factor, the DI does not require a prior distribution and is minimax optimal in a sense that does not involve averaging over outcomes that did not occur. Replacing a (possibly pseudo-) likelihood function with its weighted counterpart extends the scope of the DI to models for which the unweighted NML is undefined. The likelihood weights leverage side information, either in data associated with comparisons other than the comparison at hand or in the parameter value of a simple null hypothesis. Two case studies, one involving multiple populations and the other involving multiple biological features, indicate that the DI is robust to the type of side information used when that information is assigned the weight of a single observation. Such robustness suggests that very little adjustment for multiple comparisons is warranted if the sample size is at least moderate.

연구 동기 및 목표

• p-값과 베이즈 요인의 한계를 극복하고 해석 가능하며 단순 귀무가설을 지지할 수 있는 통계적 증거 척도를 개발하는 것.
• 다중 비교에서 오해의 소지가 있는 증거 문제를 해결하기 위해 최소최대 최적성과 사전 정보가 없는 방법을 도입하는 것.
• 작은 표본 크기에서도 다른 비교로부터의 부수적 정보를 사용할 경우에도 척도가 강건하게 유지되도록 보장하는 것.
• p-값이나 사후확률과 달리 비교의 수에 크게 의존하지 않는 일관된 증거 해석을 제공하는 것.
• 과학자들이 데이터가 대립가설, 귀무가설, 또는 둘 다를 강하게 지지하는지 객관적이고 신뢰할 수 있는 도구로 평가할 수 있도록 하는 것.

제안 방법

• 분류 정보(DI)는 대립가설과 귀무가설 하에서의 정규화된 최대우도(NML) 값의 비율의 로그로 정의된다.
• NML 페널티 우도는 최소최대 최적성을 보장하고 관측되지 않은 결과의 평균을 취하지 않아, 이론적으로 빈도주의적 접근이면서 강건한 방법이 된다.
• 무게를 부여한 우도 접근법은 무게가 없는 NML 프레임워크를 정의할 수 없는 모델로 확장하며, 다른 비교나 귀무가설로부터의 부수적 정보를 하나의 관측치로 가중치로 사용한다.
• 이 방법은 다른 비교나 단백질의 데이터와 같은 부수적 정보를 하나의 관측치로 가중치를 할당하여 안정성과 강건성을 확보한다.
• 감소된 우도 모델을 통해 적용되며, 표본 크기와 비교의 수에 관계없이 해석 가능성과 일관성을 유지한다.
• 이론적 성질은 渐近적 분석을 통해 검증되었으며, 표본 크기가 증가함에 따라 오해의 소지가 있는 증거의 확률이 0으로 수렴함을 보였다.

실험 결과

연구 질문

• RQ1 사전 정보가 없는 증거 척도를 개발할 수 있는가? 이는 단순 귀무가설을 지지하고 p-값의 오류를 피할 수 있어야 한다.
• RQ2 다른 비교로부터의 부수적 정보가 포함될 경우에도 증거 척도가 강건하게 유지될 수 있는가?
• RQ3 제안된 방법은 전통적인 다중 비교 보정의 필요성을 줄일 수 있는가?
• RQ4 분류 정보(DI)는 대립가설 뿐 아니라 귀무가설에 대한 강력한 증거를 신뢰성 있게 나타낼 수 있는가?
• RQ5 부수적 정보를 최소로 사용할 때 작은 표본 크기에서 이 방법은 어떻게 성능을 보이는가?

주요 결과

• 분류 정보(DI)는 渐近적으로 해석 가능하며, 표본 크기가 증가함에 따라 오해의 소지가 있는 증거의 확률이 0으로 수렴한다.
• p-값과 달리 DI는 단순 귀무가설에 대한 강력한 증거를 나타낼 수 있어, 전통적 유의성 검정의 핵심적 한계를 해결한다.
• 이 방법은 최소최대 최적성이며, 관측되지 않은 결과의 평균을 취하지 않아 빈도주의 설정에서 베이즈 요인보다 더 강건하다.
• 귀무가설을 하나의 관측치로 가중치로 사용할 경우, 매우 작은 표본 크기(n=2 per group)에서도 부수적 데이터에서 유래한 정보를 사용한 경우와 시각적으로 구분되지 않을 정도로 유사한 DI 값을 얻는다.
• n=4 per group인 20개 단백질 사례 연구에서, 귀무가설 기반 가중치와 부수적 데이터 기반 가중치 방법 간에 증거 등급이 바뀐 단백질은 단 한 개뿐이었으며, 이는 높은 강건성을 보여준다.
• 최적의 정보를 사용할 경우 추정의 위험(regret)이 일정하게 유지되며, 최대우도 추정치와는 달리 표본 평균에 따라 위험이 크게 변하지 않는다.