[论文解读] Tensor Graphical Model: Non-convex Optimization and Statistical Inference

Xiang Lyu, Will Wei Sun+4 more|arXiv (Cornell University)|Sep 15, 2016

Tensor decomposition and applications参考文献 91被引用 4

一句话总结

该论文提出了一种非凸优化框架 Tlasso，用于在张量图形模型中假设协方差为克罗内克积结构的前提下，估计稀疏精度矩阵。该方法建立了最优收敛速率，并开发了一种去偏推断程序，实现错误发现率（FDR）控制，从而即使在 K ≥ 3 时仅有一个张量样本的情况下，也能实现有效的统计检验。

ABSTRACT

We consider the estimation and inference of graphical models that characterize the dependency structure of high-dimensional tensor-valued data. To facilitate the estimation of the precision matrix corresponding to each way of the tensor, we assume the data follow a tensor normal distribution whose covariance has a Kronecker product structure. A critical challenge in the estimation and inference of this model is the fact that its penalized maximum likelihood estimation involves minimizing a non-convex objective function. To address it, this paper makes two contributions: (i) In spite of the non-convexity of this estimation problem, we prove that an alternating minimization algorithm, which iteratively estimates each sparse precision matrix while fixing the others, attains an estimator with an optimal statistical rate of convergence. (ii) We propose a de-biased statistical inference procedure for testing hypotheses on the true support of the sparse precision matrices, and employ it for testing a growing number of hypothesis with false discovery rate (FDR) control. The asymptotic normality of our test statistic and the consistency of FDR control procedure are established. Our theoretical results are backed up by thorough numerical studies and our real applications on neuroimaging studies of Autism spectrum disorder and users' advertising click analysis bring new scientific findings and business insights. The proposed methods are encoded into a publicly available R package Tlasso.

研究动机与目标

• 通过克罗内克积结构协方差模型，估计高维张量值数据中的条件独立结构。
• 解决张量图形模型中非凸惩罚似然估计的挑战。
• 开发一种计算高效的算法，具备可证明的统计保证，用于精度矩阵估计。
• 在错误发现率（FDR）控制下，实现对稀疏精度矩阵支持的可靠统计推断。
• 在真实神经影像和广告点击数据应用中展示该方法的实用性。

提出的方法

• 一种交替最小化算法 Tlasso，通过固定其他模式的精度矩阵，迭代估计每个模式特定的精度矩阵，实现最优收敛速率。
• 该方法采用具有克罗内克积结构的惩罚似然目标函数，以建模张量协方差，从而实现降维。
• 构建去偏检验统计量，以实现在精度矩阵中单个边条目上的渐近正态推断。
• 通过在去偏检验统计量上应用数据驱动的阈值化程序，实现错误发现率（FDR）控制。
• 理论分析在正则条件下建立了估计速率的极小极大最优性以及 FDR 控制的一致性。
• 该算法已实现于公开可用的 R 包 Tlasso 中，以支持可复现研究。

实验结果

研究问题

• RQ1 交替最小化算法能否在非凸张量图形模型估计中实现最优统计速率？
• RQ2 所提出的去偏推断程序在高维设置下是否能产生渐近正态的检验统计量？
• RQ3 能否在张量图形模型的边选择中一致地应用 FDR 控制的多重假设检验？
• RQ4 当仅有一个张量样本时，该方法的性能如何，特别是在 K ≥ 3 的情况下？
• RQ5 在有限样本下，该方法在张量维度和样本量增加时的可扩展性如何？

主要发现

• Tlasso 算法在每个模式特定的精度矩阵上实现了 Frobenius 范数的收敛速率 √(mₖ(mₖ + sₖ)log mₖ / (n m))，该速率是极小极大最优的。
• 在不可表示性条件下，该方法在最大范数下达到 √(mₖ log mₖ / (n m)) 的速率，在谱范数下达到 dₖ√(mₖ log mₖ / (n m)) 的速率，两者均为最优。
• 去偏检验统计量即使在小样本量下也表现出渐近正态性，模拟结果中的 QQ 图验证了这一点。
• 经验错误发现比例（FDP）紧密跟踪其理论极限 τ，且在预设水平（5% 和 10%）下保持了 FDR 控制。
• 随着样本量增加，经验统计功效趋近于 100%，在 n ≥ 20 时，对于 10×10×10 的张量且具有最近邻结构，即可实现足够高的功效（如 >70%）。
• 该方法成功识别出自闭症谱系障碍 fMRI 数据中的生物学相关连接模式，以及广告点击数据中用户行为的有意义结构。