[论文解读] On matrix estimation under monotonicity constraints

Sabyasachi Chatterjee, Adityanand Guntuboyina+1 more|arXiv (Cornell University)|Jun 10, 2015

Sparse and Compressive Sensing Techniques参考文献 23被引用 14

一句话总结

本文研究了在行和列均具有单调性约束下矩阵估计的最小二乘估计量（LSE），其中未知矩阵在行和列上均为非递减。研究证明，LSE的最坏情况风险为 $ n^{-1/2} $ 阶（对数因子内），该速率是极小极大最优的，并且在矩阵具有有界数量的矩形块时表现出参数型 $ n^{-1} $ 收敛速率，即实现了变量自适应。

ABSTRACT

We consider the problem of estimating an unknown $n_1 imes n_2$ matrix $\mathbf{θ^*}$ from noisy observations under the constraint that $\mathbfθ^*$ is nondecreasing in both rows and columns. We consider the least squares estimator (LSE) in this setting and study its risk properties. We show that the worst case risk of the LSE is $n^{-1/2}$, up to multiplicative logarithmic factors, where $n = n_1 n_2$ and that the LSE is minimax rate optimal (up to logarithmic factors). We further prove that for some special $\mathbfθ^*$, the risk of the LSE could be much smaller than $n^{-1/2}$; in fact, it could even be parametric i.e., $n^{-1}$ up to logarithmic factors. Such parametric rates occur when the number of "rectangular" blocks of $\mathbfθ^*$ is bounded from above by a constant. We derive, as a consequence, an interesting adaptation property of the LSE which we term variable adaptation -- the LSE performs as well as the oracle estimator when estimating a matrix that is constant along each row/column. Our proofs borrow ideas from empirical process theory and convex geometry and are of independent interest.

研究动机与目标

• 研究在行和列均具有单调性约束下，对 $ n_1 \times n_2 $ 矩阵进行估计时，最小二乘估计量（LSE）的风险性质。
• 建立LSE的最坏情况风险，并证明其在对数因子内为极小极大最优速率。
• 研究当真实矩阵具有低内在维度（如具有有界数量的矩形块）时，LSE的自适应行为。
• 证明LSE能够自适应于问题的“内在维度”，在某些结构化设定下表现得如同已知块结构的虚拟最优估计量。

提出的方法

• 分析采用经验过程理论、逼近论和凸几何的工具，研究LSE的风险行为。
• 利用构造精巧的、以二值向量为索引的同序矩阵集合，通过广义Fano不等式推导极小极大下界。
• 构造过程包括将矩阵划分为 $ k \times k $ 块，并利用 $ \pm 1 $-取值的参数定义具有受控变化的同序矩阵。
• 使用Pinsker不等式来界定对应于不同同序矩阵的高斯测度之间的总变差距离。
• 通过度量熵和切锥论证分析风险，以刻画LSE的自适应性与收敛速率。
• 证明利用了同序约束集 $ \mathcal{M} $ 的结构，确保构造的矩阵保持单调性。

实验结果

研究问题

• RQ1 LSE在单调矩阵估计中的最坏情况风险是多少？是否为极小极大最优？
• RQ2 对于某些结构化矩阵，LSE能否实现快于 $ n^{-1/2} $ 的收敛速率？
• RQ3 LSE是否能自适应于真实矩阵的内在复杂度（如常数个恒定矩形块）？
• RQ4 LSE的性能与事先已知块结构的虚拟最优估计量相比如何？
• RQ5 真实矩阵中块的数量在决定估计风险方面起什么作用？

主要发现

• LSE的最坏情况风险上界为 $ C n^{-1/2} \log n $，其中 $ C $ 为绝对常数，且该速率在对数因子内为极小极大最优。
• 对于具有有界数量矩形块的矩阵（即常数块结构），LSE实现了参数型速率 $ C n^{-1} \log n $，显著快于 $ n^{-1/2} $。
• LSE表现出变量自适应：其能自动适应问题的内在维度，并在性能上等同于已知块结构的虚拟最优估计量。
• 最坏情况风险的极小极大下界为 $ \sigma \sqrt{D}/n^{1/2} $ 阶，与上界仅相差对数因子，从而确认了极小极大最优性。
• 风险界依赖于总变差 $ D(\boldsymbol{\theta}^*) = (\theta^*_{n_1n_2} - \theta^*_{11})^2 $，当 $ D $ 较小时速率更优。
• 下界构造依赖于 $ 2^{k^2} $ 个同序矩阵集合，其具有受控的 $ \ell^2 $ 分离度与总变差距离，从而导出紧致的极小极大速率。