[论文解读] Grouped Transformations in High-Dimensional Explainable ANOVA Approximation.

Felix Bartel, Daniel Potts+1 more|arXiv (Cornell University)|Oct 20, 2020

Sparse and Compressive Sensing Techniques参考文献 13被引用 5

一句话总结

本文提出分组傅里叶变换，一种针对高维散乱数据的快速算法，通过将频率组与方差分析（ANOVA）分解项对齐，利用组稀疏性通过组套索（group lasso）并加速矩阵-向量乘法，实现在欠定、超定及噪声环境下的高效函数逼近，性能更优。

ABSTRACT

Many applications are based on the use of efficient Fourier algorithms such as the fast Fourier transform and the nonequispaced fast Fourier transform. In a high-dimensional setting it is also already possible to deal with special sampling sets such as sparse grids or rank-1 lattices. In this paper we propose fast algorithms for high-dimensional scattered data points with corresponding frequency sets that consist of groups along the dimensions in the frequency domain. From there we propose a fast matrix-vector multiplication, the grouped Fourier transform, that finds theoretical foundation in the context of the analysis of variance (ANOVA) decomposition where there is a one-to-one correspondence from the ANOVA terms to our proposed groups. An application can be found in function approximation for high-dimensional functions where the number of the variable interactions is limited. We tested two different approximation approaches: Classical Tikhonov-regularization, namely, regularized least squares, and the technique of group lasso, which promotes sparsity in the groups. As for the latter, there are no explicit solution formulas which is why we applied the fast iterative shrinking-thresholding algorithm to obtain the minimizer. Numerical experiments in under-, overdetermined, and noisy settings indicate the applicability of our algorithms.

研究动机与目标

• 解决在变量相互作用有限的高维空间中实现高效函数逼近的挑战。
• 为在维度间分组的结构化频率集合上的散乱数据开发快速算法。
• 将ANOVA分解与基于傅里叶的方法相结合，以提升可解释性与计算效率。
• 应用正则化技术（Tikhonov与组套索）以促进交互项的稀疏性。
• 在欠定、超定及噪声数据场景中展示所提方法的有效性。

提出的方法

• 提出一种分组傅里叶变换，通过将频率分量按维度分组以对应ANOVA项，加速矩阵-向量乘法。
• 在变换域中建立ANOVA分解项与频率组之间的一一对应关系。
• 使用正则化最小二乘法（Tikhonov）与组套索进行逼近，后者因缺乏闭式解而需迭代最小化。
• 采用快速迭代软阈值算法（FISTA）高效求解组套索优化问题。
• 将该方法应用于稀疏网格或秩-1格点上的散乱数据，利用结构化采样实现计算加速。
• 设计在频率空间中利用组结构的算法，实现维度扩展的高效性。

实验结果

研究问题

• RQ1 如何在高维傅里叶分析中高效地将ANOVA分解项映射到分组频率分量？
• RQ2 分组频率结构能否在高维散乱数据逼近中实现更快的矩阵-向量乘法？
• RQ3 在高维函数逼近中，组套索正则化与Tikhonov正则化相比，在促进交互项稀疏性方面表现如何？
• RQ4 所提方法在欠定、超定及噪声数据情形下的性能如何？
• RQ5 如FISTA等快速迭代求解器能否与分组傅里叶变换有效结合，实现可扩展的高维逼近？

主要发现

• 分组傅里叶变换通过利用频率域中ANOVA项的组结构，实现了快速的矩阵-向量乘法。
• 该方法通过与交互项对齐的频率分组，实现了在高维散乱数据上的高效函数逼近。
• 组套索正则化成功促进了交互项的稀疏性，在相互作用有限的场景中优于Tikhonov正则化。
• 数值实验验证了该方法在欠定、超定及噪声环境下的鲁棒性能。
• 尽管缺乏显式闭式解，基于FISTA的组套索求解方案仍提供了一种有效且可扩展的方法。
• 所提算法在高维函数逼近任务中展现出优异的计算效率与可扩展性。