[论文解读] High Dimensional Structured Superposition Models

Qilong Gu, Arindam Banerjee|arXiv (Cornell University)|May 30, 2017

Statistical Methods and Inference被引用 4

一句话总结

本文提出了一种用于高维叠加模型的一般估计器，其中参数是多个结构化分量（例如稀疏、低秩）之和，每个分量由一个范数表征。通过引入一种称为结构一致性的几何条件，建立了分量估计误差的非渐近、高概率界，表明误差以 $1/\sqrt{n}$ 的速率衰减，且依赖于各个误差锥的最大高斯宽度。

ABSTRACT

High dimensional superposition models characterize observations using parameters which can be written as a sum of multiple component parameters, each with its own structure, e.g., sum of low rank and sparse matrices, sum of sparse and rotated sparse vectors, etc. In this paper, we consider general superposition models which allow sum of any number of component parameters, and each component structure can be characterized by any norm. We present a simple estimator for such models, give a geometric condition under which the components can be accurately estimated, characterize sample complexity of the estimator, and give high probability non-asymptotic bounds on the componentwise estimation error. We use tools from empirical processes and generic chaining for the statistical analysis, and our results, which substantially generalize prior work on superposition models, are in terms of Gaussian widths of suitable sets.

研究动机与目标

• 开发一个统一的高维叠加模型框架，其中真实参数是多个结构化分量之和。
• 分析基于凸优化的估计器在每个分量上使用一般范数时的估计误差。
• 建立分量估计误差的样本复杂度和高概率非渐近界。
• 通过一个几何条件——结构一致性，刻画准确分量恢复的条件。
• 将先前关于叠加模型的研究结果推广至任意数量的分量和任意基于范数的结构。

提出的方法

• 提出一种凸优化估计器，通过最小化平方误差并施加范数约束：$\min_{\theta_1,\dots,\theta_k} \|y - X\sum_{i=1}^k \theta_i\|_2^2$，满足 $R_i(\theta_i) \leq \alpha_i$，其中 $\alpha_i = R_i(\theta_i^*)$。
• 引入结构一致性（SC）条件作为涉及误差锥 $\mathcal{C}_i = \operatorname{cone}\{\Delta_i \mid R_i(\theta_i^* + \Delta_i) \leq R_i(\theta_i^*)\}$ 的几何准则。
• 利用经验过程与通用链工具，推导出以高斯宽度 $w(\mathcal{C}_i \cap B_p)$ 表示的误差界。
• 建立分量误差总和的高概率上界：$\sum_{i=1}^k \|\hat{\theta}_i - \theta_i^*\|_2 \leq c \frac{\max_i w(\mathcal{C}_i \cap B_p) + \sqrt{\log k}}{\sqrt{n}}$。
• 在子高斯设计矩阵 $X$ 和子高斯噪声 $\omega$ 下分析估计器，提供高维情形下的理论保证。
• 通过在含噪和无噪恢复任务上的合成实验验证该框架，包括 $k$-支持范数和基于DCT的变换。

实验结果

研究问题

• RQ1 在何种几何条件下，可以准确估计高维叠加模型中的所有分量？
• RQ2 单个分量的估计误差如何随样本量 $n$ 和分量数量 $k$ 变化？
• RQ3 误差锥的高斯宽度在决定样本复杂度和误差界方面起什么作用？
• RQ4 所提出的估计器如何推广先前关于鲁棒PCA和形态组件分析的工作？
• RQ5 该估计器能否对任意基于范数的分量结构实现非渐近、高概率的误差界？

主要发现

• 所提出的估计器实现了分量估计误差总和的高概率非渐近界。
• 误差界以 $\frac{\max_i w(\mathcal{C}_i \cap B_p) + \sqrt{\log k}}{\sqrt{n}}$ 的形式呈现，具有与单结构估计器相似的 $1/\sqrt{n}$ 衰减速率。
• 误差界依赖于所有分量误差锥中最大的高斯宽度，而非它们的总和，这提升了随 $k$ 增大时的可扩展性。
• 结构一致性条件是准确分量恢复的充要条件，为估计器的成功提供了几何准则。
• 实验结果表明，$\rho$（分量间对齐程度的度量）越大，估计误差越低；维度越高，所需样本复杂度也越高。
• 在固定维度下，稀疏度越低，估计性能越好；使用 $k$-支持范数相比 $\ell_1$ 范数在稀疏恢复中更具鲁棒性。