[论文解读] General framework for projection structures

Eduard Belitser, Nurzhan Nurushev|arXiv (Cornell University)|Mar 31, 2019

Advanced Optimization Algorithms Research参考文献 49被引用 6

一句话总结

本文提出了一种适用于高维统计中投影结构的一般性、分布自由的框架，引入数据依赖度量（DDM）与过度偏差限制（EBR），实现具有Oracle率最优性的局部不确定性量化（UQ）与置信球。该框架统一了包括稀疏性、平滑性和聚类结构在内的广泛模型类，并在多个尺度上实现了极小化极大自适应结果。

ABSTRACT

In the first part, we develop a general framework for projection structures and study several inference problems within this framework. We propose procedures based on data dependent measures (DDM) and make connections with empirical Bayes and penalization methods. The main inference problem is the uncertainty quantification (UQ), but on the way we solve the estimation, DDM-contraction problems, and a weak version of the structure recovery problem. The approach is local in that the quality of the inference procedures is measured by the local quantity, the oracle rate, which is the best trade-off between the approximation error by a projection structure and the complexity of that approximating projection structure. Like in statistical learning settings, we develop distribution-free theory as no particular model is imposed, we only assume certain mild condition on the stochastic part of the projection predictor. We introduce the excessive bias restriction (EBR) under which we establish the local confidence optimality of the constructed confidence ball. The proposed general framework unifies a very broad class of high-dimensional models and structures, interesting and important on their own right. In the second part, we apply the developed theory and demonstrate how the general results deliver a whole avenue of local and global minimax results (many new ones, some known results from the literature are improved) for particular models and structures as consequences, including white noise model and density estimation with smoothness structure, linear regression and dictionary learning with sparsity structures, biclustering and stochastic block models with clustering structure, covariance matrix estimation with banding and sparsity structures, and many others. Various adaptive minimax results over various scales follow also from our local results.

研究动机与目标

• 建立一种使用投影结构的高维模型推断的统一、分布自由的理论框架。
• 通过数据依赖度量（DDM）与过度偏差限制（EBR）实现具有局部最优性保证的不确定性量化（UQ）。
• 推导涵盖稀疏性、平滑性、聚类和形状约束等多种模型与结构的极小化极大自适应结果。
• 通过识别置信球实现均匀覆盖的条件，解决UQ中的误导性现象。
• 通过基于DDM的程序，将该框架与经验贝叶斯方法及惩罚方法相连接。

提出的方法

• 提出一种使用数据依赖度量（DDM）的投影结构一般性框架，以自适应平衡估计偏差与方差。
• 引入Oracle率作为性能的局部度量，定义为逼近误差与结构复杂性之间最小权衡。
• 应用过度偏差限制（EBR）以确保局部置信最优性，实现置信球的均匀覆盖。
• 利用DDM收缩结果，建立在不同平滑性与稀疏性尺度下的估计一致性和自适应性。
• 通过推论8.2将局部Oracle率结果推广为全局极小化极大结果，实现对Sobolev椭球与$β$-H"older类等尺度的自适应。
• 通过指定结构与复杂性度量，将该框架应用于具体模型（如字典学习、协方差估计、双聚类）

实验结果

研究问题

• RQ1 能否为高维投影结构中的不确定性量化开发一种一般性、分布自由的框架？
• RQ2 在何种条件下，所提出的置信球能实现局部最优性与均匀覆盖？
• RQ3 该框架如何统一稀疏性、平滑性、聚类与形状约束等多样化模型？
• RQ4 过度偏差限制（EBR）在消除UQ中误导性现象方面起到何种作用？
• RQ5 局部Oracle率结果能否推广至多个尺度上的全局极小化极大自适应结果？

主要发现

• 在EBR下，所提出的置信球实现了局部置信最优性，其覆盖在参数空间上均匀，仅在高度结构化的参数集合（薄集）外不成立。
• 对于稀疏字典学习模型，极小化极大率为$ r^2(\theta) \asymp \sigma^2 \min\{np + m\bar{s}\log(ep/\bar{s}), nm\} $，与已知结果一致，并提升了自适应性。
• 在适度的维数约束（$ m \lesssim p^2 n $）下，字典学习模型中避免了误导性现象，确保了置信球的均匀覆盖。
• 该框架通过推论8.2实现了在尺度上的全局极小化极大自适应结果，包括Sobolev椭球、Besov尺度与弱$ \ell_q $-球。
• 对于双聚类与随机块模型，该框架恢复了已知的极小化极大率，并在相同Oracle率框架下提供了新的自适应结果。
• 在Oracle率中使用改进的控制函数$ \bar{\rho}(I) $，可在不需$ m \lesssim np $的条件下获得更优界，从而增强一般性。