[논문 리뷰] The Language of Betting as a Strategy for Statistical and Scientific Communication

Glenn Shafer|arXiv (Cornell University)|2019. 03. 16.

Advanced Bandit Algorithms Research참고 문헌 39인용 수 18

한 줄 요약

이 논문은 통계적 의사소통을 위한 더 단순하고 직관적인 대안으로 p-값을 베파이어 스코어로 대체하는 것을 제안한다. 베파이어 스코어는 귀무가설 하에서 베파이어가 자신의 베팅 금액을 몇 배로 늘릴 수 있는지에 해당하는 곱셈 계수로 증거를 측정한다. 이는 우도비와 일치하며 기회적 검증을 지원하고, 전통적인 신뢰구간보다 더 투명하고 일관된 '보증' 구간을 제공한다.

ABSTRACT

The established language for statistical testing --- significance levels, power, and p-values --- is overly complicated and deceptively conclusive. Even teachers of statistics and scientists who use statistics misinterpret the results of statistical tests, tending to misstate their meaning and exaggerate their certainty. We can communicate the meaning and limitations of statistical evidence more clearly using the language of betting. This paper calls attention to a simple betting interpretation of likelihood ratios. This interpretation leads to methods that lend themselves to meta-analysis and accounting for multiple testing. It is closely related to the interpretation of probability as frequency, but it does not encourage the fallacy that probabilistic models imply the existence of unseen alternative worlds. For more on the betting interpretation of probability, see \cite{Shafer/Vovk:2019} and the other working papers at www.probabilityandfinance.com.

연구 동기 및 목표

• 과학적 의사소통에서 p-값의 광범위한 오용과 오해를 해결하기 위해.
• 실제 베판의 직관을 기반으로 한 단순한 베파이어 스코어로 복잡한 p-값을 대체하여 통계적 추론을 단순화하기 위해.
• 사전 계획된 검증과 기회적 검증을 모두 지원하면서 통계 원칙을 위반하지 않는 프레임워크를 개발하기 위해.
• 베판 전략에서 유도된 잠재적 대립가설과 목표값을 활용하여 파wr와 신뢰구간의 일관된 대안을 제공하기 위해.
• 전통적 유의성 검정에서 숨겨진 가정이 없는 투명하고 불확실성 인식 기반의 통계적 추론 프레임워크를 구축하기 위해.

제안 방법

• p-값을 베파이어 스코어로 대체: 귀무가설 하에서의 실제 수익과 기대값의 비율.
• 통계적 검증을 베파이어가 비음수가 되는 수익 S를 선택하고, 귀무분포 P 하에서 그 기대값에 따라 이를 사는 게임으로 모델링.
• 베파이어 스코어 S(y)/E_P(S)를 통해 P에 대한 증거를 측정하며, 큰 값일수록 강한 증거를 의미한다.
• 베파이어 스코어가 직관적인 우도 기반 추론과 일치하도록 '잠재적 대립가설'과 '잠재적 목표값'을 도입한다.
• 신뢰구간의 일반화로 '보증집합'을 개발하며, (1/α)-보증집합은 매개변수 값이 집합 외부에 있을 경우 가상의 베파이어가 자본을 1/α 배로 늘린다는 것을 보장한다.
• 순차적 및 적응형 베판을 허용하여, '결정된 결과를 향해 샘플링하는 것' 없이도 보증집합을 갱신할 수 있다.

실험 결과

연구 질문

• RQ1 베파이어 스코어는 통계적 의사소통에서 p-값에 대한 더 단순하고 직관적인 대안이 될 수 있는가?
• RQ2 베파이어 스코어는 실제 세계의 사고 방식을 반영하는 방식으로 통계적 가설에 대한 증거를 어떻게 측정할 수 있는가?
• RQ3 베파이어 스코어, 우도비, 잠재적 대립가설 간의 관계는 무엇인가?
• RQ4 보증집합은 어떻게 구성하고 갱신할 수 있으며, 이는 전통적 신뢰구간의 함정을 피하면서도 일관성을 유지하는가?
• RQ5 베판 기반 프레임워크는 통계적 타당성을 해치지 않으면서도 계획된 검증과 기회적 검증을 모두 지원할 수 있는가?

주요 결과

• 베파이어 스코어는 p-값보다 개념적으로 더 단순한데, 이는 복잡한 가족 검정이 아닌 단일 해석 가능한 베판 결과를 보고하기 때문이다.
• 큰 베파이어 스코어—예를 들어 자본을 100배 또는 1000배로 늘리는 경우—는 귀무가설에 대한 강력하고 투명한 증거를 제공하며, 잔여 불확실성도 명확히 인정한다.
• 베파이어 스코어는 잠재적 대립가설에 대해 직접적으로 우도비와 일치하며, 증거 강도에 대한 직관적 개념과 부합한다.
• 보증집합은 가상의 베파이어가 자본을 1/α 배로 늘리지 않을 매개변수 값의 집합으로 정의되며, 이는 중첩되어 있고 시간이 지남에 따라 갱신 가능하다.
• 이 프레임워크는 기회적 검증을 지원한다. 베파이어 스코어의 설득력은 사전에 정해진 전략에 의존하지 않기 때문에 p-값 오용의 일반적인 함정을 피할 수 있다.
• 이 방법은 '잠재적 목표값'을 도입함으로써 파워와 신뢰구간의 일관된 대안을 제공하며, 대립가설 하에서 현실적인 기대를 반영한다.