[论文解读] Adapting to Unknown Sparsity by controlling the False Discovery Rate

Felix Abramovich, Yoav Benjamini+2 more|ArXiv.org|May 18, 2005

Statistical Methods in Clinical Trials参考文献 30被引用 8

一句话总结

本文提出了一种用于高维稀疏均值估计的数据自适应阈值化方法，通过控制错误发现率（FDR）在广泛的稀疏性类别中实现渐近极小化。通过将FDR控制与极小化风险联系起来，表明当FDR水平 $ q_n \to q \in [0, 1/2] $ 时可获得最优性能，而当 $ q > 1/2 $ 时会导致风险无界膨胀，从而建立了多重检验与决策理论之间的新联系。

ABSTRACT

We attempt to recover an $n$-dimensional vector observed in white noise, where $n$ is large and the vector is known to be sparse, but the degree of sparsity is unknown. We consider three different ways of defining sparsity of a vector: using the fraction of nonzero terms; imposing power-law decay bounds on the ordered entries; and controlling the $\ell_p$ norm for $p$ small. We obtain a procedure which is asymptotically minimax for $\ell^r$ loss, simultaneously throughout a range of such sparsity classes. The optimal procedure is a data-adaptive thresholding scheme, driven by control of the {\it False Discovery Rate} (FDR). FDR control is a relatively recent innovation in simultaneous testing, ensuring that at most a certain fraction of the rejected null hypotheses will correspond to false rejections. In our treatment, the FDR control parameter $q_n$ also plays a determining role in asymptotic minimaxity. If $q = \lim q_n \in [0,1/2]$ and also $q_n > γ/\log(n)$ we get sharp asymptotic minimaxity, simultaneously, over a wide range of sparse parameter spaces and loss functions. On the other hand, $ q = \lim q_n \in (1/2,1]$, forces the risk to exceed the minimax risk by a factor growing with $q$. To our knowledge, this relation between ideas in simultaneous inference and asymptotic decision theory is new. Our work provides a new perspective on a class of model selection rules which has been introduced recently by several authors. These new rules impose complexity penalization of the form $2 \cdot \log({potential model size} / {actual model size})$. We exhibit a close connection with FDR-controlling procedures under stringent control of the false discovery rate.

研究动机与目标

• 开发一种数据自适应的阈值化方法，以在高维均值估计中对广泛未知的稀疏性类别实现渐近极小化。
• 在多重检验中的错误发现率（FDR）控制与决策理论中的极小化估计之间建立理论联系。
• 刻画FDR控制程序实现最优风险的条件，特别是与极限FDR水平 $ q = \lim q_n $ 的关系。
• 证明当 $ q_n > \gamma / \log n $ 且 $ q \in [0, 1/2] $ 时，FDR控制可实现尖锐的渐近极小化，而当 $ q > 1/2 $ 时则导致风险膨胀。
• 将基于复杂性惩罚的近期模型选择规则统一并解释为FDR控制，表明其与FDR控制阈值化等价。

提出的方法

• 将FDR控制用作数据自适应选择阈值的机制，确保被拒绝的原假设中错误发现的期望比例不超过 $ q_n $。
• 应用一种阈值规则，当 $ |y_i| \leq t $ 时将观测向量 $ y_i $ 的每个分量设为零，其中阈值 $ t $ 的选择使得估计的FDR控制在水平 $ q_n $。
• 采用依赖于被拒绝假设数量 $ k $ 的阈值函数 $ t(k) $，该函数基于 $ |y_i| $ 的顺序统计量推导，以控制FDR。
• 利用正态尾部积分和经验过程论据，对错误发现和真正发现的期望数量进行渐近近似。
• 将参数空间分解为正区、过渡区和负区，以分析在不同稀疏性条件下阈值化规则的行为。
• 依赖集中不等式和指数尾部界（如引理7.1）来控制错误发现数量大偏差的概率。

实验结果

研究问题

• RQ1 FDR控制的阈值化方法是否能在高维均值估计中对广泛的稀疏性类别实现渐近极小化？
• RQ2 FDR水平 $ q_n $ 在决定极小化风险中的作用是什么？它如何影响该方法的最优性？
• RQ3 FDR控制与经典模型选择准则（如AIC、BIC和RIC）之间有何关系，特别是在复杂性惩罚方面？
• RQ4 在何种条件下基于FDR的阈值化方法无法实现极小化？其风险膨胀的性质是什么？
• RQ5 能否形式化并利用多重检验（FDR）与极小化估计之间的联系，以推导出最优且计算可行的程序？

主要发现

• 当 $ q_n \to q \in [0, 1/2] $ 且 $ q_n > \gamma / \log n $ 时，FDR控制在广泛的稀疏性类别中对 $ \ell^r $ 损失实现了渐近极小化。
• 当 $ q = \lim q_n \in (1/2, 1] $ 时，FDR控制程序的风险会超过极小化风险，且增长因子随 $ q $ 增大而增加，表明存在一个尖锐的相变。
• 所提出的FDR控制阈值化规则在 $ \ell_p $ 范数、幂律衰减和稀疏性比例定义的多个稀疏性类别中，均实现了尖锐的渐近极小化。
• 该方法计算高效，避免了某些理论极小化程序的不可行性，使其在小波去噪和信号恢复中具有实际应用价值。
• 在严格FDR控制下，该程序被证明等价于具有形式为 $ 2 \log(\text{潜在模型大小}/\text{实际模型大小}) $ 的复杂性惩罚的模型选择规则。
• 理论分析确认，当 $ q \in [0, 1/2] $ 时，FDR阈值化估计器的风险与极小化风险相差一个常数因子，且该界是尖锐的。