[논문 리뷰] Negatively Biased Relevant Subsets Induced by the Most-Powerful One-Sided Upper Confidence Limits for a Bounded Physical Parameter

R. Cousins|arXiv (Cornell University)|2011. 09. 09.

Probabilistic and Robust Engineering Design참고 문헌 13인용 수 6

한 줄 요약

이 논문은 고에너지물리학에서 한쪽 방향 상한 신뢰구간을 계산하는 데 널리 쓰이는 '원래 대각선선 방법'의 사용을 비판하며, 이로 인해 사후 데이터 기반의 커버리지가 약화되는 부정적인 편향을 갖는 관련 부분집합이 유도된다고 주장한다. 이는 심지어 파wr 제약 조건이나 잘라내기 기법을 적용한 수정된 버전들조차도 핵심 문제를 해결하지 못함을 보여주며, 대신 필즈만-카우진스의 양측 우도 비율 순서 기반 방법을 보다 우수한 조건부 커버리지 성질을 지닌 우월한 대안으로 제안한다.

ABSTRACT

Suppose an observable x is the measured value (negative or non-negative) of a true mean mu (physically non-negative) in an experiment with a Gaussian resolution function with known fixed rms deviation s. The most powerful one-sided upper confidence limit at 95% C.L. is UL = x+1.64s, which I refer to as the "original diagonal line". Perceived problems in HEP with small or non-physical upper limits for x<0 historically led, for example, to substitution of max(0,x) for x, and eventually to abandonment in the Particle Data Group's Review of Particle Physics of this diagonal line relationship between UL and x. Recently Cowan, Cranmer, Gross, and Vitells (CCGV) have advocated a concept of "power constraint" that when applied to this problem yields variants of diagonal line, including UL = max(-1,x)+1.64s. Thus it is timely to consider again what is problematic about the original diagonal line, and whether or not modifications cure these defects. In a 2002 Comment, statistician Leon Jay Gleser pointed to the literature on recognizable and relevant subsets. For upper limits given by the original diagonal line, the sample space for x has recognizable relevant subsets in which the quoted 95% C.L. is known to be negatively biased (anti-conservative) by a finite amount for all values of mu. This issue is at the heart of a dispute between Jerzy Neyman and Sir Ronald Fisher over fifty years ago, the crux of which is the relevance of pre-data coverage probabilities when making post-data inferences. The literature describes illuminating connections to Bayesian statistics as well. Methods such as that advocated by CCGV have 100% unconditional coverage for certain values of mu and hence formally evade the traditional criteria for negatively biased relevant subsets; I argue that concerns remain. Comparison with frequentist intervals advocated by Feldman and Cousins also sheds light on the issues.

연구 동기 및 목표

• 고에너지물리학에서 널리 사용되는 '원래 대각선선 방법'을 통한 한쪽 방향 상한 신뢰구간 계산 방식의 통계적 결함을 분석하는 것.
• 자르기 제로 또는 파워 제약 조건이 적용된 수정 버전이 관련 부분집합의 부정적 편향 문제를 해결하지 못하는 이유를 조사하는 것.
• 네이만-파이어의 논쟁을 배경으로 하여, 빈도주의 신뢰구간이 사전 데이터 및 사후 데이터 커버리지 평가와 어떻게 조화를 이룰 수 있는지 평가하는 것.
• 사용자 중심의 관련 부분집합에서 심각한 편향을 피하는 더 신뢰할 수 있는 대안으로 필즈만-카우진스의 양측 우도 비율 순서 기반 방법을 도입할 것을 주장하는 것.
• 관련 부분집합과 커버리지 편향의 관계를 통해 빈도주의 신뢰구간과 베이지안 방법 간의 연결 고리를 명확히 하는 것.

제안 방법

• 원래 대각선선 방법의 신뢰대역 구성 방식을 분석하며, 여기서 μ_UL = x + 1.64σ임을 보이고, 이로 인해 알려진 부정적 편향을 지닌 식별 가능한 관련 부분집합이 유도됨을 보여준다.
• 특히 글레저의 연구를 포함한 통계 문헌에서의 관련 부분집합 개념을 적용하여, 모든 μ 값에 대해 특정 데이터 영역에서는 95% 신뢰수준이 체계적으로 반보수적인(anti-conservative) 경향이 있음을 입증한다.
• 원래 방법과 수정된 방법(예: μ_UL = max(0, x+1.64σ) 또는 μ_UL = max(−1, x) + 1.64σ)을 비교하여, 여전히 커버리지 문제에 시달림을 보여준다.
• 양측 우도 비율 순서 기반의 필즈만-카우진스 방법을 평가하며, 조건부 커버리지 성질이 향상되고 가장 악성인 편향을 피할 수 있음을 보여준다.
• 네이만-피어슨 프레임워크를 활용하여 사전 데이터 무조건적 커버리지와 사후 데이터 조건부 커버리지 간의 대비를 분석하며, 신뢰수준의 해석에서 발생하는 갈등을 부각한다.
• 베이지안 통계와의 연관성을 검토하며, 사전분포가 잘 선택된 경우 빈도주의 구간과 유사한 커버리지 성질을 지닌 신뢰구간을 도출할 수 있음을 제시하며, 두 접근법 간의 다리 역할을 하게 된다.

실험 결과

연구 질문

• RQ1 왜 원래 대각선선 방법이 사후 추론에서 관련 부분집합에 대해 부정적인 편향을 유도하는가?
• RQ2 파워 제약 조건 또는 잘라내기 기반 수정된 버전이 관련 부분집합의 커버리지 편향 문제를 해결할 수 있는가?
• RQ3 필즈만-카우진스 방법의 커버리지 성질이 원래 대각선선 방법 및 그 변형들에 비해 조건부 및 무조건적 커버리지 측면에서 어떻게 비교되는가?
• RQ4 베이지안 방법은 빈도주의 신뢰구간의 커버리지 편향 문제를 어느 정도 정보나 해결책을 제공할 수 있는가?
• RQ5 모든 관련 부분집합에서 적절한 커버리지를 보장하면서도 높은 검정력과 해석 가능성도 유지하는 일반적 방법을 구성할 수 있는가?

주요 결과

• 원래 대각선선 방법(μ_UL = x + 1.64σ)은 모든 μ 값에 대해 체계적으로 반보수적인 95% 신뢰수준을 보이는 식별 가능한 관련 부분집합을 유도한다.
• 조금 더 수정된 형태인 μ_UL = max(0, x+1.64σ) 또는 μ_UL = max(−1, x) + 1.64σ 역시 여전히 관련 부분집합에서의 부정적 편향 문제를 완전히 해결하지 못한다.
• 필즈만-카우진스의 양측 우도 비율 순서 기반 방법은 보다 우수한 조건부 커버리지 성질을 제공하며 가장 악성인 편향을 피할 수 있어 더 신뢰할 수 있는 대안이 된다.
• 문제의 근본 원인은 사전 데이터 무조건적 커버리지와 사후 데이터 조건부 커버리지 간의 본질적 갈등이며, 네이만-피어슨 프레임워크는 이를 해결하지 못한다.
• 관련 부분집합에 관한 문헌은 깊이 있는 베이지안 통계와의 연결 고리를 드러내며, 양호한 빈도주의 커버리지 성질을 지닌 사전분포를 선택할 경우 실용적인 해결 방안이 될 수 있음을 시사한다.
• 모든 관련 부분집합과 그 슈퍼셋에서 동시에 양호한 커버리지를 보장하는 일반적 방법을 구성하는 것은 현재의 빈도주의 접근 방식의 한계를 드러낸다.