[论文解读] Conformal testing in a binary model situation

Vladimir Vovk|arXiv (Cornell University)|Apr 5, 2021

Statistical Methods and Inference参考文献 20被引用 5

一句话总结

本文提出了一种更高效的二值数据 conformal 测试鞅，适用于伯努利参数中存在未知变化点的情况，采用网格化校准函数上的 Sleeper/Chooser 赌博策略。与标准 conformal 鞭稍相比，其在原假设下独立同分布（IID）的证据显著更高，最终值达到约 ~7.85×10¹⁹⁴，接近理论最优的似然比基准。

ABSTRACT

Conformal testing is a way of testing the IID assumption based on conformal prediction. The topic of this note is computational evaluation of the performance of conformal testing in a model situation in which IID binary observations generated from a Bernoulli distribution are followed by IID binary observations generated from another Bernoulli distribution, with the parameters of the distributions and changepoint unknown. Existing conformal test martingales can be used for this task and work well in simple cases, but their efficiency can be improved greatly.

研究动机与目标

• 评估并提升在伯努利参数存在未知变化点的二值模型中 conformal 测试鞅的效率。
• 开发一种实用的、非优化的 conformal 测试鞅，其性能接近理论最优的下确界似然比。
• 证明随机化、基于网格的 conformal 赌博策略可在无需了解真实数据生成过程的前提下，优于现有 conformal 测试鞅。
• 提供一种可扩展、计算上可行的方法，用于在二值序列中进行在线假设检验，假设数据独立同分布。
• 为将高效 conformal 测试推广至其他参数模型（如正态分布和指数族）奠定基础。

提出的方法

• 使用 Sleeper/Chooser 算法，将初始资本分配至由网格点 $ (a,b) \times \text{G}^2 $ 索引的投注函数 $ f_{a,b}(p) $，其中 $ a,b \to \frac{1}{G}, \frac{2}{G}, ..., \frac{G-1}{G} $。
• 采用带有吸收态 $ (a,b) \times \text{G}^2 $ 和休眠状态 $ \boxempty $ 的马尔可夫链，其中以概率 $ R $，资本被重新分配至活跃投注账户。
• 应用恒等一致性度量和一个随机化投注函数 $ f_{a,b}(p) $，该函数分段定义以偏向偏离均匀 p 值的偏差。
• 将测试鞅 $ S_n $ 维持为休眠账户与所有活跃 $ S_{a,b} $ 的总和，通过 $ S_{a,b} \to S_{a,b} f_{a,b}(p_n) $ 顺序更新。
• 使用网格大小 $ G = 100 $ 和衰减参数 $ R = 0.001 $，在保持稳定性的同时探索多样化的校准函数。
• 所得鞅为随机化、非负过程，起始于 1，在 IID 原假设下期望值为 1，因此是有效的测试鞅。

实验结果

研究问题

• RQ1 当预变化点和后变化点的参数未知时，conformal 测试鞅在检测二值序列中变化点的效率如何？
• RQ2 能否设计一种 conformal 测试鞅，使其在无需了解真实数据生成过程的前提下，逼近下确界似然比的理论性能极限？
• RQ3 使用基于网格的随机化投注策略（Sleeper/Chooser）对二值数据中 IID 假设的最终证据有何影响？
• RQ4 与 Simple Jumper 和安全 e-value 等现有方法相比，所提出的 conformal 鞭稍在最终鞅值上的表现如何？
• RQ5 在缺乏完整模型知识的情况下，能否通过一种自然的、非优化的策略近似最优的 conformal 鞭稍？

主要发现

• 所提出的 Sleeper/Chooser conformal 测试鞅的最终值约为 $ 7.85 \times 10^{194} $，显著优于 Simple Jumper 鞭稍（最终值约 ~$ 10^{10} $），并接近理论下确界似然比。
• 作为性能基准的下确界似然比过程，其最终值约为 $ 10^{258.93} $，表明所提方法距离理论最优仅相差约 10⁶⁰ 倍。
• 在真实模型下的似然比过程在变化点后迅速增长，但其在完整 IID 原假设下并非有效的测试鞅。
• 所提方法对参数选择具有鲁棒性：使用 $ R = 0.001 $ 和 $ G = 100 $ 可产生强证据且无过拟合。
• 所提 conformal 鞭稍的最终值超过 conformal e-伪鞅的 100 倍，显著提升了效率。
• 新鞅的对数尺度轨迹在视觉上更接近最优下确界似然比，而非 Simple Jumper，证实其在检测变化点方面具有更优性能。