[論文レビュー] Learning Functions of Few Arbitrary Linear Parameters in High Dimensions

Massimo Fornasier, Karin Schnass+1 more|arXiv (Cornell University)|Aug 18, 2010

Sparse and Compressive Sensing Techniques参考文献 23被引用数 5

ひとこと要約

本稿では、$ k \ll d $ である $ k \times d $ 行列 $ A $ を用いて $ f(x) = g(Ax) $ と表される高次元関数を、$ m $ 個の点評価のみを用いて近似する、圧縮センシングに基づく手法を提案する。任意の $ A $ に対して、滑らかさの仮定の下で、次元 $ d $ に依存しないサンプリング複雑度で、一様近似が確実に達成される多項式時間のアルゴリズムを提供する。

ABSTRACT

Let us assume that $f$ is a continuous function defined on the unit ball of $\mathbb R^d$, of the form $f(x) = g (A x)$, where $A$ is a $k imes d$ matrix and $g$ is a function of $k$ variables for $k \ll d$. We are given a budget $m \in \mathbb N$ of possible point evaluations $f(x_i)$, $i=1,...,m$, of $f$, which we are allowed to query in order to construct a uniform approximating function. Under certain smoothness and variation assumptions on the function $g$, and an {\it arbitrary} choice of the matrix $A$, we present in this paper 1. a sampling choice of the points $\{x_i\}$ drawn at random for each function approximation; 2. algorithms (Algorithm 1 and Algorithm 2) for computing the approximating function, whose complexity is at most polynomial in the dimension $d$ and in the number $m$ of points. Due to the arbitrariness of $A$, the choice of the sampling points will be according to suitable random distributions and our results hold with overwhelming probability. Our approach uses tools taken from the {\it compressed sensing} framework, recent Chernoff bounds for sums of positive-semidefinite matrices, and classical stability bounds for invariant subspaces of singular value decompositions.

研究の動機と目的

• 少数のサンプルで高次元関数を近似する際の次元の呪いに対処すること。
• 構造的または既知の部分空間に制限されない、任意の $ k \times d $ 行列 $ A $ に対して有効なサンプリングおよび回復フレームワークの開発。
• 関数 $ f(x) = g(Ax) $ の一様近似を、$ g $ に滑らかさの条件を課したもとで、$ d $ および $ m $ に対して多項式のサンプリング複雑度で達成すること。
• 計算量が $ d $ および $ m $ に対して多項式時間で実行され、かつ精度を保つように、効率的で頑健な手法の確保。

提案手法

• 圧縮センシングの原則を用いて、$ m $ 個のランダムな点評価から $ f(x) = g(Ax) $ を回復する。
• 任意の $ A $ に対して頑健であるように、$ A $ の構造に適合した分布に従って $ x_i $ をランダムにサンプリングする。
• 測度集中を制御するため、正定値行列の和に対するチェルノフ不等式を適用する。
• 特異値分解（SVD）における不変部分空間の安定性バインディングを活用し、関数構造の正確な回復を保証する。
• 近似関数 $ \hat{f} $ を計算するためのアルゴリズム1およびアルゴリズム2を設計し、$ d $ および $ m $ に対して多項式時間の複雑度を達成する。
• 近似誤差の直径関連成長を制御するため、ミンコフスキー汎関数と双対ノルムを用いる。特に $ \Omega = [-1,1]^d $ の場合に有効。

実験結果

リサーチクエスチョン

• RQ1 任意の $ A $ に対して、$ m \ll d $ 個の点評価のみで、$ f(x) = g(Ax) $ のような高次元関数を正確に近似できるか？
• RQ2 $ g $ に滑らかさの仮定を課したもとで、任意の $ A $ に対して一様近似が高確率で達成されるようなサンプリング戦略は何か？
• RQ3 次元の呪いの下でも、$ d $ に依存しない形で近似誤差をバインドすることは可能か？
• RQ4 計算複雑度が $ d $ および $ m $ に対して多項式時間で実行されつつ、精度を維持できる回復アルゴリズムは構築可能か？
• RQ5 ランダム行列の測度集中とSVDの安定性は、関数回復の頑健性を保証するために果たす役割は何か？

主な発見

• 提案手法は、$ g $ に対する滑らかさおよび変動に関する仮定の下で、任意の $ A $ に対しても高確率で $ f(x) = g(Ax) $ の一様近似を達成する。
• 近似誤差は $ 2C_2(\operatorname{diam}(\Omega)+2\bar{\epsilon})\frac{\nu_1}{\sqrt{\alpha(1-s)}-\nu_1} $ で抑えられ、ミンコフスキー汎関数の手法により $ d $ に依存しない形で制御可能である。
• $ \varepsilon $-精度を達成するためのサンプル数 $ m $ は、$ d $ および $ \varepsilon^{-1} $ に対して多項式的に増加し、多項式トレーカビリティを達成する。
• アルゴリズム1およびアルゴリズム2は、$ d $ および $ m $ に対して多項式時間で近似関数を計算可能であり、高次元における効率的計算を可能にする。
• 正定値行列に対するチェルノフ不等式の適用により、測度集中が保証され、これがサンプリング戦略の高確率的成功の根拠となる。
• 特に $ \Omega = [-1,1]^d $ の場合、ミンコフスキー汎関数のアプローチにより、双対ノルム $ \|\cdot\|_{\Omega}^\prime = \|\cdot\|_{\ell_1^d} $ における直径が制御され、$ \sqrt{d} $ の成長を回避し、次元に依存しない誤差バインディングが可能になる。