[논문 리뷰] Confidence intervals with control of the sign error in low power settings

Art B. Owen|arXiv (Cornell University)|2016. 10. 31.

Statistical Methods and Inference참고 문헌 3인용 수 3

한 줄 요약

이 논문은 저전력 가설 검정에서 부호 오류를 제어하기 위한 방법을 제안한다. 유의수준을 조정하여 매개변수 추정치의 부호에 대한 신뢰를 확보한다. 귀무가설 H₀: θ = 0을 더 엄격한 수준 α₂ = 2α₁α_S에서 기각할 경우, 부호 오류 확률이 α_S 이하가 되도록 보장하며, 이는 전력 수준이 낮을 때에도 부호 추론이 신뢰할 수 있음을 보장한다. 이는 매개변수 부호 추정을 위한 단순한 선택 후 추론 프레임워크를 제공한다.

ABSTRACT

When hypothesis tests of $H_0 heta=0$ have low power, it is possible that their rejection can frequently be accompanied by an estimate $\hat heta$ that has the wrong sign and significantly exaggerated magnitude. Such sign errors are less likely when the confidence interval for $ heta$ is well separated from 0, as measured in units of the confidence interval's width. Sign errors can be controlled by declaring confidence in the sign of $ heta$ only when $H_0$ is also rejected at a smaller level $\alpha_2=2\alpha_1\alpha_S$, where $\alpha_S\le 1/2$ is a user specified upper bound on the probability of a sign error given that $H_0$ has been rejected. This procedure is a very simple form of inference after model selection: the selected model is that $ heta e0$ and the second inference is then on sign($ heta$).

연구 동기 및 목표

• 통계적 전력 수준이 낮을 때, 매개변수 추정치의 부호가 잘못될 수 있는 부호 오류의 위험을 다루기 위해.
• 귀무가설이 기각된 조건 하에서 그러한 부호 오류의 확률을 제어할 수 있는 방법을 제공하기 위해.
• 매개변수의 부호를 제어된 오류 비율로 결정하는 실용적인 선택 후 추론 절차를 개발하기 위해.
• 표준 신뢰구간에 단순한 조정을 가하여 저전력 설정에서의 신뢰도를 향상시키기 위해.
• 매개변수의 부호에 대한 신뢰가 충분히 강한 증거가 있을 때에만 선언되어 부호 오류 위험을 최소화하기 위해.

제안 방법

• 원래의 검정 수준 α₁와 사용자가 지정한 부호 오류 확률의 상한 α_S를 고려하여 수정된 유의수준 α₂ = 2α₁α_S를 제안한다.
• 매개변수 θ의 부호에 대한 신뢰를 선언하는 것은 귀무가설 H₀: θ = 0이 더 엄격한 수준 α₂에서 기각된 경우에만 허용한다.
• 신뢰구간의 폭을 0으로부터의 분리 정도를 측정하는 척도로 사용하여 부호 추론의 신뢰도를 평가한다.
• 이 절차를 두 단계 추론으로 프레임워크화한다: 먼저 H₀를 검정하고, H₀가 α₂ 수준에서 기각된 경우에만 부호를 추론한다.
• 선택 후 추론에 적합한 간단하고 해석 가능한 프레임워크에 부호 오류 제어를 통합한다.
• α₂의 선택을 통해 귀무가설이 기각된 조건 하에서 부호 오류 확률이 α_S 이하로 제한됨을 보장한다.

실험 결과

연구 질문

• RQ1 유의수준이 낮을 때, 귀무가설을 기각했음에도 추정된 매개변수의 부호가 잘못된 경우 부호 오류를 어떻게 제어할 수 있는가?
• RQ2 귀무가설이 기각된 조건 하에서 부호 오류 확률을 제한하기 위해 필요한 유의수준 조정은 무엇인가?
• RQ3 매개변수의 부호를 저전력 설정에서 신뢰할 수 있게 결정할 수 있는 단순한 선택 후 추론 절차가 가능한가?
• RQ4 신뢰구간의 폭은 저전력 상황에서 부호 추론의 신뢰도와 어떻게 관련이 있는가?
• RQ5 원래의 유의수준 α₁와 부호 오류 비율을 제어하기 위해 필요한 조정된 수준 α₂ 사이의 관계는 무엇인가?

주요 결과

• 귀무가설이 기각된 조건 하에서 부호 오류 확률이 사용자가 지정한 상한 α_S 이하로 제어된다.
• α₂ = 2α₁α_S로 설정함으로써, 부호 추론은 반드시 충분히 강한 증거가 있을 때만 이루어져 잘못된 부호 결론의 가능성을 최소화한다.
• 표준 신뢰구간이 높은 부호 오류 비율으로 오해의 소지가 있는 저전력 설정에서도 이 방법은 강건하다.
• 신뢰구간의 폭이 0으로부터의 분리 정도를 나타내며, 이는 부호 추론의 신뢰도에 대한 유용한 지표가 되며, 더 큰 분리 정도는 부호 오류 위험을 감소시킨다.
• 이 방법은 선택 후 추론에 대해 원칙적이고 단순한 방식으로 매개변수의 부호에 대한 추론을 가능하게 하며, 전력 수준이 낮을 때에도 유용하다.
• 이 절차는 계산적으로 간단하며 복잡한 리샘플링이나 시뮬레이션을 필요로 하지 않아 일상적인 사용에 실용적이다.