[論文レビュー] Online Control of the False Coverage Rate and False Sign Rate

Asaf Weinstein, Aaditya Ramdas|arXiv (Cornell University)|May 3, 2019

Statistical Methods in Clinical Trials参考文献 25被引用数 4

ひとこと要約

本稿は、逐次的信頼区間構築における誤り発見率（FCR）を制御するための新しいオンライン手順を提案する。条件付き信頼区間の代わりに、適応的マージナル信頼区間を用いる。オンラインFDRに類似したアルファ・スペンディング則を活用することで、CI自体に基づく選択が可能となり、誤った符号率（FSR）を制御する新しいオンライン符号分類手順が可能になる。同時に、条件付き手法に比べて柔軟性と実用性が向上したFCR制御を維持する。

ABSTRACT

The false coverage rate (FCR) is the expected ratio of number of constructed confidence intervals (CIs) that fail to cover their respective parameters to the total number of constructed CIs. Procedures for FCR control exist in the offline setting, but none so far have been designed with the online setting in mind. In the online setting, there is an infinite sequence of fixed unknown parameters $θ_t$ ordered by time. At each step, we see independent data that is informative about $θ_t$, and must immediately make a decision whether to report a CI for $θ_t$ or not. If $θ_t$ is selected for coverage, the task is to determine how to construct a CI for $θ_t$ such that $ ext{FCR} \leq α$ for any $T\in \mathbb{N}$. A straightforward solution is to construct at each step a $(1-α)$ level conditional CI. In this paper, we present a novel solution to the problem inspired by online false discovery rate (FDR) algorithms, which only requires the statistician to be able to construct a marginal CI at any given level. Apart from the fact that marginal CIs are usually simpler to construct than conditional ones, the marginal procedure has an important qualitative advantage over the conditional solution, namely, it allows selection to be determined by the candidate CI itself. We take advantage of this to offer solutions to some online problems which have not been addressed before. For example, we show that our general CI procedure can be used to devise online sign-classification procedures that control the false sign rate (FSR). In terms of power and length of the constructed CIs, we demonstrate that the two approaches have complementary strengths and weaknesses using simulations. Last, all of our methodology applies equally well to online FCR control for prediction intervals, having particular implications for assumption-free selective conformal inference.

研究の動機と目的

• 逐次的パrameter推定における誤り発見率（FCR）制御のためのオンライン手順の欠如に応えること。
• 信頼区間自体に基づく選択が可能な手法を開発し、符号分類のような新しいタイプのオンライン推論を可能にすること。
• 従来の条件付きCIアプローチよりも単純かつ柔軟な、オンラインFCR制御の一般枠組みを提供すること。
• 予測区間およびコンフォーマル推論へとその手法を拡張し、仮定に依存しない選択的推論を可能にすること。

提案手法

• オンラインFDR制御アルゴリズム（例：LORD++）を適応させ、マージナル信頼区間の時間依存的信頼水準 α_i < α を構築する。
• 逐次的アルファ・スペンディング則を用い、過去の選択意思決定と誤差率制御に基づき、各ステップでの信頼水準を調整する。
• 特に高次元または正規分布でない設定においても、条件付きCIよりも構築が容易なマージナルCIを採用する。
• CIの性質に依存する選択ルール（例：ゼロを含む区間を除外、逆の符号を含む区間を除外）を可能とし、符号決定推論を支援する。
• 未知の結果をパrameterとみなすことにより、予測区間に対しても同じ枠組みを適用し、選択後もマージナル有効性を保証する。
• マージナル予測区間（例：コンフォーマル予測から得られるもの）が、FCR制御付きの選択的推論手順を構築するために利用可能であるという事実を活用する。

実験結果

リサーチクエスチョン

• RQ1 条件付き推論を要件としないオンライン手順で、誤り発見率（FCR）を制御することは可能か？
• RQ2 外部統計ではなく、信頼区間自体に基づく選択ルールを用いても、FCR制御を維持できるか？
• RQ3 オンラインFCR制御を符号分類問題へと拡張可能であり、誤った符号率（FSR）を制御できるか？
• RQ4 提案手法を予測区間および選択的コンフォーマル推論へと適応可能か？
• RQ5 マージナルCIは、オンライン設定における条件付きCIの実用的かつ強力な代替手段を提供するか？

主な発見

• 提案手法は、任意の T ∈ ℕ に対して、任意の予測可能な選択ルール下でも、誤り発見率（FCR）をレベル α で制御する。
• 本手法により、CIの内容（例：ゼロを含む区間を除外）に基づく選択が可能となり、FSR制御付きのオンライン符号分類が実現できる。
• シミュレーションにより、パワーと区間長の観点で、マージナルCIは条件付きCIと補完的特性を示すことが明らかになった。
• 本手法は予測区間へと滑らかに拡張可能であり、仮定に依存しない選択的コンフォーマル推論を可能にする。
• 本研究は、条件付きCIを超える最初の既知のオンラインFCR制御手順を提供する。SAFFRON や一般化されたアルファインベストメントなどの他のオンラインFDR手順に対しても、類似手法は知られていない。
• 本手法は、正規分布でない、または高次元の設定に対しても頑健であり、任意の水準でマージナルCIを構築できるという事実に依存するのみである。