[논문 리뷰] Online Control of the False Coverage Rate and False Sign Rate

Asaf Weinstein, Aaditya Ramdas|arXiv (Cornell University)|2019. 05. 03.

Statistical Methods in Clinical Trials참고 문헌 25인용 수 4

한 줄 요약

이 논문은 조건부 신뢰구간 대신 적응형 마진형 신뢰구간을 사용하여 순차적 신뢰구간 구성에서 거짓 커버리지 비율(FCR)을 제어하는 새로운 온라인 절차를 제안한다. 온라인 FDR 유사 알파-소비 규칙을 활용함으로써, CI 자체에 기반한 선택이 가능해지며, 이는 거짓 기호 비율(FSR)을 제어하는 새로운 온라인 기호 분류 절차를 가능하게 한다. 또한 조건부 방법에 비해 더 높은 유연성과 실용성을 유지하면서 FCR 제어를 가능하게 한다.

ABSTRACT

The false coverage rate (FCR) is the expected ratio of number of constructed confidence intervals (CIs) that fail to cover their respective parameters to the total number of constructed CIs. Procedures for FCR control exist in the offline setting, but none so far have been designed with the online setting in mind. In the online setting, there is an infinite sequence of fixed unknown parameters $θ_t$ ordered by time. At each step, we see independent data that is informative about $θ_t$, and must immediately make a decision whether to report a CI for $θ_t$ or not. If $θ_t$ is selected for coverage, the task is to determine how to construct a CI for $θ_t$ such that $ ext{FCR} \leq α$ for any $T\in \mathbb{N}$. A straightforward solution is to construct at each step a $(1-α)$ level conditional CI. In this paper, we present a novel solution to the problem inspired by online false discovery rate (FDR) algorithms, which only requires the statistician to be able to construct a marginal CI at any given level. Apart from the fact that marginal CIs are usually simpler to construct than conditional ones, the marginal procedure has an important qualitative advantage over the conditional solution, namely, it allows selection to be determined by the candidate CI itself. We take advantage of this to offer solutions to some online problems which have not been addressed before. For example, we show that our general CI procedure can be used to devise online sign-classification procedures that control the false sign rate (FSR). In terms of power and length of the constructed CIs, we demonstrate that the two approaches have complementary strengths and weaknesses using simulations. Last, all of our methodology applies equally well to online FCR control for prediction intervals, having particular implications for assumption-free selective conformal inference.

연구 동기 및 목표

• 순차적 매개변수 추정에서 거짓 커버리지 비율(FCR) 제어를 위한 온라인 절차가 부족한 문제를 해결하기 위해.
• 신뢰구간 자체에 기반한 선택이 가능하도록 하는 방법을 개발하여, 기호 분류와 같은 새로운 유형의 온라인 추론을 가능하게 하기 위해.
• 기존의 조건부 CI 접근법보다 더 단순하고 더 유연한 온라인 FCR 제어의 일반적 프레임워크를 제공하기 위해.
• 이론을 예측구간 및 콫포탈 추론으로 확장하여, 가정 없이 선택적 추론을 가능하게 하기 위해.

제안 방법

• 온라인 FDR 제어 알고리즘(예: LORD++)을 변형하여 시간에 따라 변화하는 신뢰수준 α_i < α를 갖는 마진형 CI를 구성한다.
• 이전의 선택 결정과 오류율 제어에 기반해 각 단계에서의 신뢰수준을 조정하기 위해 순차적 알파-소비 규칙을 사용한다.
• 특히 고차원 또는 정규분포가 아닌 설정에서 조건부 CI보다 더 쉽게 구성할 수 있는 마진형 CI를 활용한다.
• CI의 성질에 따라 선택 규칙을 설정할 수 있도록 하며, 예를 들어 0을 포함하거나 반대 부호를 포함하는 구간을 제외함으로써 기호 결정 추론을 지원한다.
• 미지의 결과를 매개변수로 간주함으로써 동일한 프레임워크를 예측구간에 적용하여, 선택 후에도 마진형 유효성을 확보한다.
• 마진형 예측구간(예: 콕포탈 예측에서 유도됨)을 사용해 FCR 제어가 가능한 선택적 추론 절차를 구축할 수 있음을 활용한다.

실험 결과

연구 질문

• RQ1 조건부 추론을 요구하지 않고도 거짓 커버리지 비율(FCR)을 제어하는 온라인 절차를 설계할 수 있는가?
• RQ2 외부 통계량이 아닌 CI 자체의 성질에 기반한 선택 규칙을 적용해도 FCR 제어를 유지할 수 있는가?
• RQ3 온라인 FCR 제어를 기호 분류 문제로 확장하여 거짓 기호 비율(FSR)을 제어할 수 있는가?
• RQ4 제안된 방법을 예측구간 및 선택적 콕포탈 추론으로 확장할 수 있는가?
• RQ5 마진형 CI가 온라인 환경에서 조건부 CI에 비해 실용적이고 강력한 대안을 제공할 수 있는가?

주요 결과

• 제안된 방법은 임의의 예측 가능한 선택 규칙 하에서도 어떤 T ∈ ℕ 에 대해서도 거짓 커버리지 비율(FCR)을 수준 α에서 제어한다.
• 이 방법은 CI의 내용에 기반한 선택이 가능해지며, 예를 들어 0을 포함하는 구간을 제외함으로써 FSR 제어가 가능한 온라인 기호 분류를 가능하게 한다.
• 시뮬레이션 결과, 마진형 CI는 힘과 구간 길이 측면에서 조건부 CI와 상보적인 강점과 약점을 보인다.
• 이론은 예측구간으로 쉽게 확장되어, 가정 없이 선택적 콕포탈 추론을 가능하게 한다.
• 이 프레임워크는 조건부 CI 외의 첫 번째 알려진 온라인 FCR 제어 절차를 제공하며, SAFFRON이나 일반화된 알파-투자와 같은 다른 온라인 FDR 절차에 대해 알려진 유사한 방법은 없다.
• 이 방법은 정규분포가 아니거나 고차원적인 설정에서도 강건하며, 단지 임의의 수준에서 마진형 CI를 구성할 수 있음에 의존하기 때문이다.