[論文レビュー] Grouped Transformations in High-Dimensional Explainable ANOVA Approximation.

Felix Bartel, Daniel Potts+1 more|arXiv (Cornell University)|Oct 20, 2020

Sparse and Compressive Sensing Techniques参考文献 13被引用数 5

ひとこと要約

本稿では、ANOVA分解の項に対応する周波数グループを用いた、高次元散乱データに対する高速なアルゴリズムであるグループ化フーリエ変換を導入する。グループラッソを用いたグループスパarsityの活用と行列・ベクトル積の高速化により、不定・過剰決定・ノイズありの設定において、効率的な関数近似が可能になる。

ABSTRACT

Many applications are based on the use of efficient Fourier algorithms such as the fast Fourier transform and the nonequispaced fast Fourier transform. In a high-dimensional setting it is also already possible to deal with special sampling sets such as sparse grids or rank-1 lattices. In this paper we propose fast algorithms for high-dimensional scattered data points with corresponding frequency sets that consist of groups along the dimensions in the frequency domain. From there we propose a fast matrix-vector multiplication, the grouped Fourier transform, that finds theoretical foundation in the context of the analysis of variance (ANOVA) decomposition where there is a one-to-one correspondence from the ANOVA terms to our proposed groups. An application can be found in function approximation for high-dimensional functions where the number of the variable interactions is limited. We tested two different approximation approaches: Classical Tikhonov-regularization, namely, regularized least squares, and the technique of group lasso, which promotes sparsity in the groups. As for the latter, there are no explicit solution formulas which is why we applied the fast iterative shrinking-thresholding algorithm to obtain the minimizer. Numerical experiments in under-, overdetermined, and noisy settings indicate the applicability of our algorithms.

研究の動機と目的

• 変数間の相互作用が限定的な高次元空間における効率的な関数近似の課題に対処すること。
• 次元ごとにグループ化された構造的周波数集合における散乱データのための高速アルゴリズムの開発。
• ANOVA分解とフーリエベースの手法を統合し、解釈可能性と計算効率の両方を向上させること。
• 正則化手法（チホノフとグループラッソ）を適用し、相互作用項におけるスパarsityを促進すること。
• 提案手法の有効性を、不定・過剰決定・ノイズありのデータ設定のあらゆる状況で示すこと。

提案手法

• ANOVA項に対応する次元ごとの周波数グループに分類された周波数成分を用いて、行列・ベクトル積の高速化を実現するグループ化フーリエ変換を提案。
• 変換領域におけるANOVA分解の項と周波数グループの間に一対一の対応関係を確立。
• 正則化最小二乗法（チホノフ）とグループラッソを用いた近似を実施。後者は閉形式解が存在しないため、反復的最小化が必要。
• グループラッソ最適化問題を効率的に解くために、高速反復ソフトシェイピング法（FISTA）を採用。
• スパースグリッドまたはランク1格子上の散乱データに本手法を適用。構造的サンプリングを活用し、計算速度を向上。
• 周波数空間におけるグループ構造を活用することで、次元数の増加に伴う効率的なスケーリングを実現するアルゴリズムを設計。

実験結果

リサーチクエスチョン

• RQ1 高次元フーリエ解析において、ANOVA分解の項を効率的にグループ化された周波数成分にマッピングする方法は何か？
• RQ2 グループ化された周波数構造は、高次元散乱データ近似における行列・ベクトル積の高速化を可能にするか？
• RQ3 チホノフ正則化と比較して、グループラッソ正則化は高次元関数近似における相互作用項のスパarsityをどのように促進するか？
• RQ4 提案手法は、不定・過剰決定・ノイズありのデータ環境において、どのように性能を発揮するか？
• RQ5 FISTAのような高速反復ソルバーは、グループ化フーリエ変換と効果的に組み合わせられ、スケーラブルな高次元近似を実現できるか？

主な発見

• グループ化フーリエ変換は、周波数ドメインにおけるANOVA項のグループ構造を活用することで、高速な行列・ベクトル積を実現する。
• 相互作用項に一致する周波数グループ化を用いることで、高次元散乱データにおける効率的な関数近似が達成される。
• グループラッソ正則化は、相互作用項におけるスパarsityを効果的に促進し、相互作用が限定的な状況ではチホノフより優れた性能を示す。
• 数値実験により、不定・過剰決定・ノイズありの設定において、安定した性能が確認された。
• 閉形式解が明示的に存在しないにもかかわらず、FISTAに基づくグループラッソの解法は、効果的でスケーラブルな手法であることが示された。
• 提案されたアルゴリズムは、高次元関数近似タスクにおいて、優れた計算効率とスケーラビリティを示した。