[论文解读] KoPA: Automated Kronecker Product Approximation

Chencheng Cai, Rong Chen+1 more|arXiv (Cornell University)|Dec 5, 2019

Advanced Data Compression Techniques参考文献 38被引用 15

一句话总结

本文提出KoPA（Kronecker积近似），一种灵活的矩阵近似方法，将矩阵表示为较小矩阵的Kronecker积之和，相较于低秩SVD，实现了更高的压缩率和更高的精度。该方法引入了一种扩展信息准则用于配置选择，并在高维设定下、信噪比充分时证明了其渐近一致性。

ABSTRACT

We consider the problem of matrix approximation and denoising induced by the Kronecker product decomposition. Specifically, we propose to approximate a given matrix by the sum of a few Kronecker products of matrices, which we refer to as the Kronecker product approximation (KoPA). Because the Kronecker product is an extension of the outer product from vectors to matrices, KoPA extends the low rank matrix approximation, and includes it as a special case. Comparing with the latter, KoPA also offers a greater flexibility, since it allows the user to choose the configuration, which are the dimensions of the two smaller matrices forming the Kronecker product. On the other hand, the configuration to be used is usually unknown, and needs to be determined from the data in order to achieve the optimal balance between accuracy and parsimony. We propose to use extended information criteria to select the configuration. Under the paradigm of high dimensional analysis, we show that the proposed procedure is able to select the true configuration with probability tending to one, under suitable conditions on the signal-to-noise ratio. We demonstrate the superiority of KoPA over the low rank approximations through numerical studies, and several benchmark image examples.

研究动机与目标

• 开发一种灵活的矩阵近似方法，通过使用任意大小的分量矩阵的Kronecker积，推广低秩SVD。
• 以数据驱动的方式解决Kronecker积分解中最佳矩阵维度（配置）选择的挑战。
• 在高维渐近设定下，于适当的信噪比条件下，建立配置选择的理论一致性。
• 在图像数据上，与低秩SVD和总变差正则化相比，展示在矩阵去噪和压缩方面的优越性能。
• 探索具有每项不同配置的多术语Kronecker积模型的扩展。

提出的方法

• 提出KoPA作为使用较小矩阵Kronecker积之和的矩阵近似方法，其中分量矩阵的维度（配置）从数据中选择。
• 引入一种扩展信息准则（EIC），其推广了AIC和BIC，用于配置选择，平衡模型拟合与复杂度。
• 使用Frobenius范数最小化来估计给定配置下的分量矩阵，求解最近似Kronecker积问题。
• 采用两步算法：首先，为候选配置估计分量矩阵；其次，使用EIC选择最优配置。
• 将该方法应用于图像去噪，通过将含噪图像近似为Kronecker积之和，配置通过BIC选择（κ = 18 ln 2）。
• 理论分析表明，在高维渐近设定和充分信噪比下，EIC以趋于1的概率一致选择真实配置。

实验结果

研究问题

• RQ1 Kronecker积近似能否为高维数据提供比低秩SVD更准确、更灵活的矩阵近似？
• RQ2 如何从数据中自动选择Kronecker积分解的最佳配置（分量矩阵的维度）？
• RQ3 扩展信息准则是否能在高维渐近区域中确保配置选择的一致性？
• RQ4 与低秩SVD和总变差正则化相比，KoPA在图像去噪中的表现如何？
• RQ5 具有每项不同配置的多术语KoPA模型能否提升近似精度与压缩率？

主要发现

• KoPA在图像去噪中显著优于单术语SVD，测试图像如'peppers'和'mandril'的重建误差最高降低70%。
• 多术语KoPA（mKoPA）的重建误差与总变差正则化（TVR）相当，后者在平滑区域（如长鼻）表现略优。
• 在'mandril'图像上，mKoPA在纹理区域（如毛发和胡须）保留了更多细节，而TVR倾向于过度平滑这些特征。
• BIC选择的配置（κ = 18 ln 2）在全部十个基准图像上均保持了低重建误差，证实了信息准则的有效性。
• 理论结果表明，在高维渐近设定和充分信噪比下，扩展信息准则以趋于1的概率选择真实配置。
• KoPA在实现更高效压缩的同时，对原始矩阵的近似更接近，展示了其灵活性与高效性。