[論文レビュー] Learning multivariate functions with low-dimensional structures using polynomial bases

Daniel Potts, Michael Schmischke|arXiv (Cornell University)|Dec 6, 2019

Probabilistic and Robust Engineering Design参考文献 38被引用数 13

ひとこと要約

本論文は、多項式基底とANOVA分解を用いて、高次元関数を低次元構造で近似する手法を提案する。スパースANOVA項と高速変換を活用することで、解釈可能性を保ちつつ、散乱データに対する高精度な近似を実現し、d=10のFriedmanテスト関数では中央MSEが1.2未満、d=4では17.22×10⁻³未塔の最先端の性能を達成した。

ABSTRACT

In this paper we propose a method for the approximation of high-dimensional functions over finite intervals with respect to complete orthonormal systems of polynomials. An important tool for this is the multivariate classical analysis of variance (ANOVA) decomposition. For functions with a low-dimensional structure, i.e., a low superposition dimension, we are able to achieve a reconstruction from scattered data and simultaneously understand relationships between different variables.

研究の動機と目的

• 高次元散乱データ近似における次元の呪いに対処すること。
• ANOVA分解を用いて重要な変数と相互作用を特定することで、解釈可能なモデリングを可能にすること。
• 直交多項式基底を用いて、低次元構造を持つ関数を高速かつ安定に近似する手法を開発すること。
• 関数の近似とその構造的依存関係の同定を同時に実現するフレームワークを提供すること。

提案手法

• ANOVA分解を用いて、d変数関数を変数部分集合に基づく直交項に分解する。
• 重み付きL2空間における完全な正規直交多項式基底（例：チェビシェフ）を関数表現に採用する。
• 部分和の効率的計算のため、高速多項式変換および非等間隔コサイン変換を適用し、O(N^d log^d N + M)の計算量で実行する。
• 低複雑性の相互作用を捉えるために、スパースインデックス集合Iを用いてANOVA分解を切断する。
• 散乱データから基底係数を計算するために、グループ化変換を用いた最小二乗問題を解く。
• グローバル感度インデックスを用いて、重要なANOVA項を特定・検証する。

実験結果

リサーチクエスチョン

• RQ1 散乱データから得られる高次元関数において、ANOVA分解は低次元構造を効果的に明らかにできるか？
• RQ2 高速変換をどのように活用することで、高次元多項式近似の計算実行可能性を高められるか？
• RQ3 ANOVA項のスパarsityは、近似精度を向上させるとともに、データ要件を低減するのにどの程度寄与するか？
• RQ4 ベンチマーク関数において、従来の機械学習モデルと比較して、本手法の精度と解釈可能性はどの程度優れているか？

主な発見

• Friedman 1 (d=10)の100個のテストセットにおいて、中央MSEが1.17に達し、SVM、線形モデル、ニューラルネットワーク、ランダムフォレストをすべて上回った。
• Friedman 2 (d=10)では、中央MSEが16.09×10³であり、表3に示されたすべてのベンチマーク手法を下回った。
• Friedman 3 (d=4)では、中央MSEが17.22×10⁻³であり、再びすべての比較モデルを上回った。
• 感度インデックスとしきい値処理を用いて、3つのFriedman関数の真の活性ANOVA項（U*₁, U*₂, U*₃）を正常に回復した。
• 100組のランダムノードおよびテストセットペアにわたる実験において、一貫した中央誤差を示し、ロバストネスを確認した。
• 高速変換の活用により、評価および係数計算が効率的に行え、次元および次数に伴うスケーリングが良好に実現された。