[논문 리뷰] Why optional stopping is a problem for Bayesians

Rianne de Heide, Peter Grünwald|arXiv (Cornell University)|2017. 08. 28.

Bayesian Modeling and Causal Inference인용 수 15

한 줄 요약

이 논문은 옵셔널 스탑핑이 베이지안 추론에 문제가 되지 않는다는 주장을 도전하며, 일반적으로 베이즈 요인 가설 검증에서 사용되는 기본 및 실용적 사전분포가 옵셔널 스탑핑 하에서 왜곡된 사후 확률과 과도한 오류율을 초래할 수 있음을 보여준다. 저자들은 타입 II 및 III 기본 사전분포가 특히 취약함을 밝혀내어 순차 분석에서 베이지안 방법의 강건성에 의문을 제기한다.

ABSTRACT

Recently, optional stopping has been a subject of debate in the Bayesian psychology community. Rouder (2014) argues that optional stopping is no problem for Bayesians, and even recommends the use of optional stopping in practice, as do Wagenmakers et al. (2012). This article addresses the question whether optional stopping is problematic for Bayesian methods, and specifies under which circumstances and in which sense it is and is not. By slightly varying and extending Rouder's (2014) experiment, we illustrate that, as soon as the parameters of interest are equipped with default or pragmatic priors - which means, in most practical applications of Bayes Factor hypothesis testing - resilience to optional stopping can break down. We distinguish between four types of default priors, each having their own specific issues with optional stopping, ranging from no-problem-at-all (Type 0 priors) to quite severe (Type II and III priors).

연구 동기 및 목표

• 기본 또는 실용적 사전분포를 사용할 때 옵셔널 스탑핑이 베이지안 추론의 타당성을 떨어뜨리는지 조사하는 것.
• 옵셔널 스탑핑에 취약한 특정 유형의 기본 사전분포를 특정하고 그 이유를 설명하는 것.
• 옵셔널 스탑핑이 베이지안 가설 검증에서 해로운지, 혹은 무해한지에 대한 조건을 명확히 하는 것.
• 루더(2014)의 주장에 기반해, 공액 사전분포에서의 미세한 변형조차도 옵셔널 스탑핑에 대한 저항력을 파괴할 수 있음을 보여주는 것.

제안 방법

• 저자들은 루더(2014)의 시뮬레이션 프레임워크를 확장하여 사전분포의 다양성을 도입함으로써 옵셔널 스탑핑에 대한 민감도를 평가한다.
• 기본 사전분포를 4개 유형(타입 0에서 타입 III)으로 분류하며, 각 유형은 불변성과 공액성에 대해 고유한 성질을 가진다.
• 각 사전분포 유형에 대해 옵셔널 스탑핑을 포함한 순차적 데이터 수집을 시뮬레이션하고, 결과로 얻어진 사후분포와 베이즈 요인을 평가한다.
• 정지 규칙이 다양한 사전분포 가정 하에 제1종 오류 비율과 사후분포의 캘리브레이션에 미치는 영향을 분석한다.
• 고정된 N와 순차적 설계에서의 베이즈 요인 행동을 비교하기 위해 시뮬레이션 기반 추론을 사용한다.
• 옵셔널 스탑핑 하에서도 불변성을 유지하는 사전분포(타입 0)와 그렇지 않은 사전분포(타입 I–III)를 구분하며, 붕괴의 구조적 이유를 규명한다.

실험 결과

연구 질문

• RQ1 기본 사전분포를 사용할 때 옵셔널 스탑핑이 베이지안 추론의 타당성을 어떻게 손상시키는가?
• RQ2 왜 일부 기본 사전분포는 옵셔널 스탑핑에 강건한 반면, 다른 사전분포는 과도한 오류율을 초래하는가?
• RQ3 사전분포의 구조적 성질(예: 공액성, 비정보성)이 순차적 정지 규칙에 대한 저항력에 어떻게 영향을 미치는가?
• RQ4 실용적 또는 약한 정보성 사전분포가 옵셔널 스탑핑 하에서 베이즈 요인 테스트의 강건성에 얼마나 깎아내리는가?

주요 결과

• 타입 II 및 III 기본 사전분포를 사용할 경우, 중간 크기의 표본 크기에서도 옵셔널 스탑핑으로 인해 사후 확률과 베이즈 요인이 심각하게 왜곡될 수 있다.
• 옵셔널 스탑핑 하에서도 불변성을 유지하는 타입 0 사전분포—즉, 공액이면서 불변성을 가지는 사전분포—는 강건성을 유지하지만, 실무에서는 흔하지 않다.
• 비공액이거나 표본 계획에 의존하는 사전분포(예: 표준화된 효과 크기를 기반으로 한 사전분포)는 옵셔널 스탑핑 하에서 불변성을 상실한다.
• 순차적 테스트에서 약한 정보성 또는 기본 사전분포를 사용할 경우, 사후분포가 정지 규칙에 민감해져 오해의 소지가 있는 증거로 이어질 수 있다.
• 공액 사전분포에서의 미세한 변형조차도 옵셔널 스탑핑 하에서 강건성에 필요한 불변성을 파괴할 수 있다.
• 논문은 옵셔널 스탑핑에 대해 '문제 없음'이라는 주장을 일반적인 기본 사전분포에 대해 적용하는 것은 매우 제한된 사전분포 가정 하에서만 성립하며, 일반화할 수 없다고 결론 내린다.