[论文解读] Doubly Decomposing Nonparametric Tensor Regression

Masaaki Imaizumi, Kohei Hayashi|arXiv (Cornell University)|Jun 19, 2015

Tensor decomposition and applicationsMathematics参考文献 28被引用 20

一句话总结

本文提出双重分解非参数张量回归（AMNR）方法，结合低秩张量分解与加法-乘法非参数建模，以缓解高阶张量回归中的维度灾难问题。通过同时对输入张量和函数空间进行分解，AMNR 实现了 $ O(n^{-\beta/(2\beta + \max_k I_k)}) $ 的更快收敛速率，显著优于标准非参数方法的收敛率，同时在光滑性条件下与同一函数类保持一致性。

ABSTRACT

Nonparametric extension of tensor regression is proposed. Nonlinearity in a high-dimensional tensor space is broken into simple local functions by incorporating low-rank tensor decomposition. Compared to naive nonparametric approaches, our formulation considerably improves the convergence rate of estimation while maintaining consistency with the same function class under specific conditions. To estimate local functions, we develop a Bayesian estimator with the Gaussian process prior. Experimental results show its theoretical properties and high performance in terms of predicting a summary statistic of a real complex network.

研究动机与目标

• 解决非参数张量回归中的维度灾难问题，其收敛速率因输入维度 $ \prod_k I_k $ 过高而恶化。
• 克服线性张量回归（TLR）的局限性，后者在真实函数为非线性或满秩时存在高偏差。
• 开发一种非参数模型，在大幅降低有效维度的同时，保持对函数类的强表达能力。
• 通过在输入空间和函数空间中同时利用结构分解，实现比标准非参数方法更快的收敛速率。
• 在光滑性和正则性条件下，为后验收缩和风险边界提供理论保证。

提出的方法

• 提出加法-乘法非参数回归（AMNR），将回归函数建模为作用于秩一张量分量的局部函数的乘积之和。
• 利用 CANDECOMP/PARAFAC（CP）分解，将输入张量 $ X $ 表示为秩一张量之和 $ \sum_r \lambda_r \bigotimes_k x_r^{(k)} $，实现分量级建模。
• 对每个分量函数使用高斯过程（GP）先验，实现灵活的非参数估计并量化不确定性。
• 实施双重分解：通过 CP 分解对输入张量空间进行分解，通过加法-乘法展开 $ f = \sum_m \prod_k g_m^{(k)} $ 对函数空间进行分解，从而降低有效维度。
• 利用度量熵和覆盖数论证，建立后验收缩速率，证明其优于标准非参数方法的收敛速率。
• 通过平衡截断无穷级数带来的近似误差与 GP 估计带来的估计误差，推导风险边界，优化截断水平 $ M \asymp n^\zeta $。

实验结果

研究问题

• RQ1 当输入为高维张量时，非参数张量回归能否实现比标准非参数方法更快的收敛速率？
• RQ2 同时对输入张量和函数空间进行分解，是否能提升估计效率，同时保持函数类的表达能力？
• RQ3 在双重分解的非参数张量模型中，近似误差与估计误差之间的最优权衡是什么？
• RQ4 具有双重分解的贝叶斯 GP 估计器能否实现比标准非参数 GP 估计器更快的后验收缩速率？
• RQ5 与完整张量维度相比，所提出的 AMNR 框架中问题的有效维度如何变化？

主要发现

• 所提出的 AMNR 模型实现了 $ O(n^{-\beta/(2\beta + \max_k I_k)}) $ 的收敛速率，比标准非参数速率 $ O(n^{-\beta/(2\beta + \prod_k I_k)}) $ 快 $ \prod_{k \neq k'} I_k $ 倍，其中 $ k' = \arg\max_k I_k $。
• 在光滑性条件下，该模型与一般非参数回归保持相同的函数类，确保与真实函数类的一致性。
• GP 估计器的后验收缩速率被确立为 $ \epsilon_n^{(k)} $，覆盖数边界表明通过双重分解显著降低了有效复杂度。
• 当截断水平 $ M \asymp n^{\zeta} $ 且 $ \zeta = \frac{\beta}{2\beta + \max_k I_k} \cdot \frac{1}{1 + \gamma} $ 时，风险边界达到最小，此时近似误差与估计误差达到最优平衡。
• 模拟结果验证了理论收敛速率，真实世界实验在复杂网络汇总统计量上的表现也显示出优异的预测性能。
• 该方法通过将有效输入维度降低至 $ \max_k I_k $ 而非完整张量维度 $ \prod_k I_k $，有效缓解了维度灾难。