[论文解读] Admissible anytime-valid sequential inference must rely on nonnegative martingales

Aaditya Ramdas, Johannes Ruf+2 more|arXiv (Cornell University)|Sep 7, 2020

Statistical Methods and Inference参考文献 20被引用 30

一句话总结

论文证明在 anytime-valid 序列推断中的可接受构造（confidence sequences、p-processes、e-processes、以及序列检验）必须依赖非负 martingale，包括对复合设定的最大鞅和 Snell 包络的扩展。

ABSTRACT

Confidence sequences, anytime p-values (called p-processes in this paper), and e-processes all enable sequential inference for composite and nonparametric classes of distributions at arbitrary stopping times. Examining the literature, one finds that at the heart of all these (quite different) approaches has been the identification of nonnegative (super)martingales. Thus, informally, nonnegative (super)martingales are known to be sufficient for \emph{anytime-valid} sequential inference, even in composite and nonparametric settings. Our central contribution is to show that nonnegative martingales are also universal -- after appropriately defining \emph{admissibility}, we show that all admissible constructions of confidence sequences, p-processes, or e-processes must necessarily utilize nonnegative martingales. Our proofs utilize several modern mathematical tools for composite testing and estimation problems: max-martingales, Snell envelopes, transfinite induction, and new Doob-Lévy martingales make appearances in previously unencountered ways. Informally, if one wishes to perform anytime-valid sequential inference, then any existing approach can be recovered or dominated using nonnegative martingales. We provide several nontrivial examples, with special focus on testing symmetry, where our new constructions render past methods inadmissible. We also prove the subGaussian supermartingale to be admissible.

研究动机与目标

• 动机并形式化 anytime-valid 序列推断工具（p-processes、confidence sequences、e-processes、序列检验）。
• 刻画可接受性并证明在复合与点零假设设定下，所有可接受构造都需要非负鞅。
• 发展化简和工具（max-martingales、Snell envelopes）以确立可接受性的必要性和充分性结果。
• 给出示例（高斯、次高斯、对称性）以说明先前方法的可接受性与不可接受性。
• 通过 confidence sequences 和复合假设将可接受性分析拓展到估计任务。

提出的方法

• 在统一的时域内统一时间一致框架下定义并关联 p-processes、e-process、confidence sequences 与 Robbins 风格的序列检验。
• 利用非负（上）鞅、max-martingales 以及 Ville 不等式推导可接受性准则。
• 通过 Doob–Lévy max-martingale 与 Snell envelope 分解，在点零假设和复合零假设设定下建立可接受性的必要性与充分性条件。
• 展示从复合情形到点零情形的化简，以将可接受性结果扩展到估计问题（confidence sequences）。
• 提供示例性的指数族案例（高斯、次高斯、对称性），以展示可接受构造可以超越先前方法。

实验结果

研究问题

• RQ1 在复合原假设下，admissible p-process 的必要性与充分性条件是什么？
• RQ2 对所有可接受的 anytime-valid 序列推断工具（p-process、e-process、confidence sequence、序列检验）来说，非负鞅是否都是必要的？
• RQ3 如何利用 max-martingales 与 Snell envelope 在复合设定中建立可接受性结果？
• RQ4 从复合到点零的化简是否能为 confidence sequences 与 e-processes 得出一般的可接受性结论？
• RQ5 标准构造（例如 subGaussian 鞅）是否达到可接受性？先前方法在哪些情形变得不可接受（例如检验对称性）？

主要发现

• 非负鞅在 across p-processes、e-processes、confidence sequences 与序列检验等可接受的 anytime-valid 序列推断中是普遍必要的。
• max-martingales 与 Doob–Lévy 构造及 Snell envelopes，为在复合设定下证明必要性和充分性可接受性条件提供框架。
• 可接受推断可以从复合情形化简为点零情形，从而获得对 confidence sequences 与估计的通用可接受性结果。
• Robbins 的 subGaussian 鞅被证明是可接受的，而一些基于对称性的测试在新的可接受构造面前被证明不可接受。
• 本文提出新的 Doob-Lévy max-martingale 工具和反集中界，深化可接受性分析。