[논문 리뷰] About the proof of the so called exact classical confidence intervals. Where is the trick?

G. D’Agostini|arXiv (Cornell University)|2006. 05. 16.

Scientific Measurement and Uncertainty Evaluation참고 문헌 4인용 수 4

한 줄 요약

이 논문은 신뢰구간의 논리적 기반을 비판적으로 분석하여, 추정량에 대한 확률 문장의 표준 역전이 참 수치 값에 대한 유효한 확률 지식을 도출하지 못한다는 것을 입증한다. 주요 기여는 이러한 신뢰구간이 베이지안 확률 역전(베이즈 정리에 의한)이 없이 참 값에 대한 의미 있는 신뢰를 제공하지 못하며, 물리학 및 기타 분야에서 널리 쓰이는 전통적 통계적 추론에 근본적인 결함이 있음을 드러내는 것이다.

ABSTRACT

In this note I go through the `proof' of frequentistic confidence intervals and show what it logically implies concerning the value of a physical quantity given an experimental observation (nothing).

연구 동기 및 목표

• 신뢰구간의 표준 유도 방식에 내재된 논리적 모순을 폭 드러내기.
• ‘정확한’ 고전적 신뢰구간이 논리적으로 타당하고 과학적으로 의미 있는 것으로 널리 믿어지는 데에 도전하기.
• 추정량 θ̂에 대한 확률 문장을 역전하는 것이 참 값 θ에 대한 유효한 확률 지식을 도출하지 못한다는 것을 입증하기.
• 관측된 데이터를 바탕으로 참 값에 대한 신뢰를 적절히 정량화할 수 있는 유일한 방법은 베이지안 방법이며, 이는 베이즈 정리에 의존한다는 것을 주장하기.
• 다른 분야에서 널리 사용되지만 정점 물리학 적용에서는 실패하는 신뢰구간의 이유를 명확히 하기.

제안 방법

• 논문은 신뢰구간의 표준 유도 과정을 분석하여, P(θ−Δθ₁ < θ̂ < θ+Δθ₂ | θ) = α 에서 P(θ̂−Δθ₂ < θ < θ̂+Δθ₁ | θ) = α 로의 확률 역전을 검토한다.
• 이 역전은 추정량 θ̂에 대한 확률 문장의 재구성에 불과하며, 참 값 θ에 대한 문장은 아니라는 점을 강조한다.
• 몬테카를로 시뮬레이션을 사용하여 동일한 가정 하에 원래 문장과 역전된 문장 간의 수학적 동치성을 실증적으로 검증하며, 이들이 논리적으로 동일하다는 것을 보여준다.
• f(θ̂|θ) 에서 f(θ|θ̂) 로 가는 유일한 타당한 길은 베이즈 정리이며, 이는 신뢰주의적 역전이 아니라 한다.
• 신뢰주의적 신뢰 수준(α_CL)과 베이지안 확률 구간(α_p)을 대비하여, 특정 조건 하에서는 수치적으로 일치할 수 있지만 개념적으로는 다름을 보여준다.
• 신뢰주의 구간에서 ‘신뢰’라는 용어의 사용을 비판하며, 이는 참 값에 대한 논리적 확률에 기반하지 않으며 오해의 소지가 있다고 주장한다.

실험 결과

연구 질문

• RQ1 왜 추정량 θ̂에 대한 확률 문장을 역전하여 참 값 θ에 대한 유효한 확률 문장을 도출할 수 없는가?
• RQ2 일정한 신뢰 수준으로 참 값을 포함한다고 주장하는 근거는 무엇이며, 왜 이 근거가 잘못되어 있는가?
• RQ3 왜 신뢰주의적 커버리지가 올바른 수치 결과를 도출하더라도, 특히 정점 물리학에서 실질적으로 오해의 소지가 있거나 잘못된 결과를 낳는가?
• RQ4 왜 신뢰주의 구간은 물리학 분야에서 널리 채택되었음에도 불구하고 논리적으로 무의미한 것으로 간주되어야 하는가?
• RQ5 관측된 실험 데이터를 바탕으로 물리적 매개변수의 참 값에 대한 신뢰를 정량화할 수 있는 올바른 방법론적 접근은 무엇인가?

주요 결과

• 추정량 θ̂에 대한 확률 문장을 참 값 θ에 대한 문장으로 역전하는 것은 논리적으로 잘못되었으며, θ에 대한 새로운 정보를 제공하지 않는다.
• P(θ̂−Δθ₂ < θ < θ̂+Δθ₁ | f(θ̂|θ)) = α 는 원래 문장 P(θ−Δθ₁ < θ̂ < θ+Δθ₂ | θ) = α 의 재구성에 불과하며, θ에 대한 확률 문장이 아니다.
• 관측된 θ̂를 바탕으로 θ에 대한 확률 분포를 도출하는 데에는 오직 베이즈 정리만이 타당하며, 이는 f(θ|θ̂) 를 사전에 설정해야 한다.
• 신뢰주의 구간은 α_CL ≈ α_p 일 때 우연히 올바른 수치 결과를 도출할 수 있지만, 이는 그들의 근본적인 논리가 정당화된다는 뜻이 아니다.
• 정점 물리학의 중요한 사례에서는 신뢰주의 커버리지의 가정이 붕괴되어 간편한 결과가 되거나 오해의 소지가 있는 결과를 낳는다.
• 논문은 구간이 ‘신뢰구간’이라 불리는 것은 실제 신뢰를 제공하기 때문이 아니라, 적절한 확률적 추론이 없이도 안도감을 주기 위한 용도로 사용되기 때문이라고 결론 내린다.