[论文解读] Optimal Rates of Statistical Seriation

Cheng Mao, Philippe Rigollet+1 more|ArXiv.org|Jul 8, 2016

Bayesian Methods and Mixture Models参考文献 53被引用 14

一句话总结

本文提出了一种统计序列化框架，用于在存在噪声的情况下估计具有单峰或单调列的矩阵，表明最小二乘估计量在对数因子范围内达到最优速率。此外，本文还提出了一种针对单调矩阵的计算高效估计量，并通过理论和实验验证建立了极小极大最优性。

ABSTRACT

Given a matrix the seriation problem consists in permuting its rows in such way that all its columns have the same shape, for example, they are monotone increasing. We propose a statistical approach to this problem where the matrix of interest is observed with noise and study the corresponding minimax rate of estimation of the matrices. Specifically, when the columns are either unimodal or monotone, we show that the least squares estimator is optimal up to logarithmic factors and adapts to matrices with a certain natural structure. Finally, we propose a computationally efficient estimator in the monotonic case and study its performance both theoretically and experimentally. Our work is at the intersection of shape constrained estimation and recent work that involves permutation learning, such as graph denoising and ranking.

研究动机与目标

• 解决在观测存在噪声的情况下矩阵序列化的问题，目标是通过重排行以实现列的单调或单峰结构。
• 在具有加法噪声的统计模型中，建立具有单峰或单调列的矩阵的极小极大估计速率。
• 针对单调情况，提出一种计算高效的最小二乘估计量的替代方法。
• 展示最小二乘估计量对内在矩阵结构的自适应性，并提供理论保证。
• 连接形状约束估计与排列学习，应用于图去噪和排序问题。

提出的方法

• 构建一个统计序列化模型，其中观测矩阵为 $ Y = \Pi A + Z $，$ \Pi $ 为排列矩阵，$ Z $ 为独立同分布的噪声。
• 将单峰矩阵类 $ \mathcal{U}^m $ 定义为 $ n^m $ 个凸锥 $ \mathcal{C}^m_{\mathbf{l}} $ 的并集，每个锥对应一个模式位置 $ \mathbf{l} \in [n]^m $。
• 使用最小二乘估计量 $ \hat{A} = \arg\min_{A \in \mathcal{U}^m} \|Y - \Pi A\|_F^2 $ 在单峰约束下估计矩阵。
• 通过附录 B 和 C 中的信息论论证和度量熵技术，建立极小极大下界。
• 针对单调情况，提出一种基于动态规划的计算高效估计量，并给出理论收敛速率。
• 作为副产品，推导出单峰回归的Oracle不等式，表明其在对数因子范围内达到极小极大最优性。

实验结果

研究问题

• RQ1 在加法高斯噪声下，具有单峰列的矩阵的极小极大估计速率是多少？
• RQ2 最小二乘估计量在适应具有单峰或单调列的结构化矩阵方面表现如何？
• RQ3 能否为单调序列化问题构造一种具有最优理论保证的计算高效估计量？
• RQ4 所提出的估计量在多大程度上适应了底层矩阵结构的内在复杂度？
• RQ5 单峰回归的最优速率是多少？与已知的极小极大下界相比如何？

主要发现

• 最小二乘估计量在单峰序列化中达到极小极大最优速率，对数因子范围内速率为 $ \sigma^2 \cdot \left( \frac{k}{n} \log \frac{en}{k} \right) $，其中 $ k $ 为不同值的个数。
• 对于单调列，所提出的计算高效估计量在对数因子范围内达到与最小二乘估计量相同的最优速率。
• 单峰序列化的极小极大下界与最小二乘估计量的上界在对数因子范围内一致，证实了最优性。
• 本文建立了单峰回归的新极小极大最优Oracle不等式，速率为 $ \sigma^2 \cdot \left( \frac{k}{n} \log \frac{en}{k} \right) $，与已知下界在对数项范围内一致。
• 理论分析表明，最小二乘估计量能够自适应地适应矩阵的内在复杂度，其复杂度由每列中不同值的个数衡量。
• 实验结果证实了在单调情况下高效估计量的理论性能，表现出与理论一致的强有限样本行为。