[論文レビュー] The recovery of ridge functions on the hypercube suffers from the curse of dimensionality

Benjamin Doerr, Sebastian Mayer|arXiv (Cornell University)|Mar 25, 2019

Sparse and Compressive Sensing Techniques参考文献 38被引用数 5

ひとこと要約

この論文は、$[-1,1]^d$ 上の超立方体におけるリッジ関数の回復が、Lipschitz正則性を持つプロファイルに対して、$L_∞$-ノルムにおいても、確率的アルゴリズムでさえも次元の curse に直面することを示している。しかし、リッジベクトル $a$ が近似的にスパース（すなわち、僅か数個の成分が支配的）である場合、十分なプロファイル $g$ の正則性のもとで、問題は弱い tractability を示し、次元の curse を回避する。これは、$a$ の構造に依存して、処理可能と非処理可能な回復の鋭い境界を確立する。

ABSTRACT

A multivariate ridge function is a function of the form $f(x) = g(a^{\\scriptscriptstyle T} x)$, where $g$ is univariate and $a \\in \\mathbb{R}^d$. We show that the recovery of an unknown ridge function defined on the hypercube $[-1,1]^d$ with Lipschitz-regular profile $g$ suffers from the curse of dimensionality when the recovery error is measured in the $L_\\infty$-norm, even if we allow randomized algorithms. If a limited number of components of $a$ is substantially larger than the others, then the curse of dimensionality is not present and the problem is weakly tractable provided the profile $g$ is sufficiently regular.

研究の動機と目的

• ハイパースペースにおけるリッジ関数回復が、$L_\infty$-ノルム誤差のもとで高次元において処理可能かどうかという根本的問いに答える。
• 高次元であっても次元の curse を回避する条件を特定する。
• リッジベクトルのスパarsity とプロファイルの正則性が情報複雑性に与える影響を調査する。
• 一般のリッジ関数設定において、確率的アルゴリズムが curse を克服できるかどうかを検証する。
• リッジベクトルに構造的仮定をおくことで、処理不能から弱い tractability への遷移を同定する。

提案手法

• 論文は、$[-1,1]^d$ 上のリッジ関数 $f(x) = g(a^\top x)$ の情報複雑性 $n(\varepsilon, F_d)$ を分析し、$g \in B^{\mathrm{Lip}(r)}$ および $\|a\|_1 \leq 1$ を仮定する。
• 近似理論とスプラインに基づく準補間子 $Q_h$ を用いて、サンプリングされた値から $g$ を近似する際の誤差を評価する。
• $g$ 及びその導関数の Hölder 継続性と Lipschitz 正則性を用い、サンプル数 $n$ に依存する誤差境界を導出する。
• 近似誤差を三つの成分に分解する：$g$ の近似誤差、リッジベクトルの符号不確実性、ベクトル推定誤差。
• 反復的改良とグリッドベースのサンプリングを用いて、$\|\widehat{a} - a/\|a\|_1\|_1$ の境界を導出する。
• リッジベクトル $a$ が近似的にスパース（すなわち、$p \in (0,1]$ に対して $\|a\|_p \leq 1$）である場合、誤差が $n$ の多項式的に減少し、$d$ に指数的依存性が生じないことを証明する。

実験結果

リサーチクエスチョン

• RQ1 超立方体上でのリッジ関数回復は、$L_\infty$-ノルムにおいて次元の curse を受けるか？
• RQ2 確率的アルゴリズムは、リッジ関数回復において次元の curse を克服できるか？
• RQ3 リッジベクトル $a$ にどのような構造的仮定をおくと、次元の curse が消失するか？
• RQ4 プロファイル $g$ の正則性は、回復問題の処理可能性にどのように影響するか？
• RQ5 $a$ のスパarsity に基づいて、処理不能から弱い tractable への遷移の閾値は存在するか？

主な発見

• Lipschitz正則性を持つプロファイルを有する超立方体上でのリッジ関数回復は、$L_\infty$-ノルムにおいても、確率的アルゴリズムでさえも次元の curse を受ける。
• 情報複雑性は次元とともに指数関数的に増加する：すべての $\varepsilon \in (0,1)$ および $d \in \mathbb{N}$ に対して $n(\varepsilon, F_d) \geq 2^{\lfloor d/2\rfloor}$ が成り立ち、最悪ケースにおける処理不能性が確認される。
• リッジベクトル $a$ が近似的にスパース（すなわち、$p \in (0,1]$ に対して $\|a\|_p \leq 1$ かつ $\|a\|_1 \leq 1$）である場合、問題は弱い tractability を示す。
• 近似的スパース性のもとで誤差は $O(n^{-r})$ のオーダーで減少し、$n$ 個のサンプルで、$r$ が固定であれば多項式的 tractability が達成される。
• 近似誤差は三つの成分に分解される：$g$ の近似、符号不確実性、ベクトル推定誤差。それぞれが $\varepsilon/3$ 以下に抑えられ、$n_g$ および $n_b$ 個のサンプルが用いられる。
• 正規化されたリッジベクトル $\bar{a} = a/\|a\|_1$ の推定は、$n_b$ 個のサンプルで $\|\gamma\widehat{a} - \bar{a}\|_1 \leq \varepsilon/3$ を達成し、全体の誤差制御が保証される。