[论文解读] Contributed Discussion to Uncertainty Quantification for the Horseshoe by Stéphanie van der Pas, Botond Szabó and Aad van der Vaart

William Weimin Yoo|arXiv (Cornell University)|Oct 16, 2017

Probabilistic and Robust Engineering Design参考文献 3被引用 12

一句话总结

本文研究了在稀疏高维正态均值模型中，霍尔舍乌先验的不确定性量化问题，提出了自适应分量可信区间和ℓ₂-可信球以评估后验推断质量。研究识别出三种信号区间——小信号、中等信号和大信号——其中中等信号的覆盖失败。研究进一步表明，自相似性或过度偏差限制条件可消除这些间隙，从而在稀疏性条件下实现诚实的不确定性量化。

ABSTRACT

We begin by introducing the main ideas of the paper under discussion. We discuss some interesting issues regarding adaptive component-wise credible intervals. We then briefly touch upon the concepts of self-similarity and excessive bias restriction. This is then followed by some comments on the extensive simulation study carried out in the paper.

研究动机与目标

• 评估使用霍尔舍乌先验在稀疏高维模型中的不确定性量化质量。
• 研究自适应分量可信区间在不同信号幅度下的表现。
• 检验自相似性或过度偏差限制等条件是否能解决中等信号区间中的覆盖间隙问题。
• 评估当自相似性条件被违反时，可信区间性能的鲁棒性。
• 将霍尔舍乌先验的不确定性量化与稀疏模型中其他先验（如spike-and-slab）进行比较。

提出的方法

• 使用具有霍尔舍乌先验的层次正态均值模型：θ_i | λ_i, τ ~ N(0, λ_i²τ²)，λ_i ~ Half-Cauchy。
• 采用两种τ估计方法：最大边际似然估计器（MMLE）和层次超先验。
• 为单个分量定义自适应可信区间，为全局不确定性评估定义ℓ₂-可信球。
• 通过判断可信区间是否包含零来执行模型选择，判定信号不重要。
• 引入自相似性和过度偏差限制作为排除有问题的真实信号的条件。
• 通过n=400且p_n=20或200个非零信号的大量模拟实验，评估覆盖概率和区间长度。

实验结果

研究问题

• RQ1 为何霍尔舍乌先验的分量可信区间对中等大小信号的覆盖会失败？
• RQ2 自相似性或过度偏差限制能否消除中等信号区间中的覆盖间隙？
• RQ3 当自相似性条件被违反时，霍尔舍乌可信区间的性能如何变化？
• RQ4 霍尔舍乌先验在不同信号稀疏度水平下，能在多大程度上提供诚实的不确定性量化？
• RQ5 在覆盖概率和区间长度方面，霍尔舍乌可信区间与其它先验相比在经验上表现如何？

主要发现

• 霍尔舍乌先验的分量可信区间对小信号和大信号实现了充分覆盖，但对中等信号失败。
• 小、中、大三个信号区间的结构导致覆盖间隙，若不排除某些真实信号则无法解决。
• 在自相似性或过度偏差限制条件下，三个区间变得更加连续，有效消除了覆盖间隙。
• 当真实信号为零时，霍尔舍乌可信区间表现出近乎完美的覆盖和最短的区间长度，尤其在信号比例较低时。
• 经验结果表明，即使自相似性条件略有违反，性能仍保持良好，尽管理论保证可能失效。
• 本研究强调，若不排除某些真实信号，自适应可信集无法对所有可能的稀疏信号提供诚实的不确定性量化。