[論文レビュー] Approximation by Combinations of ReLU and Squared ReLU Ridge Functions with $ \ell^1 $ and $ \ell^0 $ Controls

Jason M. Klusowski, Andrew R. Barron|arXiv (Cornell University)|Jul 26, 2016

Sparse and Compressive Sensing Techniques参考文献 13被引用数 9

ひとこと要約

本稿は、内側および外側のパラメータに $\ell^1$ および $\ell^0$ 約束を課した場合の、ReLUおよび二乗ReLUリッジ関数の線形結合による高次元関数近似における $L^\infty$ および $L^2$ の誤差バウンドを確立する。$L^2$ の誤差は内側の $\ell^0$ スパarsityに反比例し、外側の $\ell^0$ スパarsityに関しては部分線形に減少する。これはジョーンズ＝バロン確率的法の変種を用いて示され、一致する下界を用いた近似的最適性が証明される。

ABSTRACT

We establish $ L^{\infty} $ and $ L^2 $ error bounds for functions of many variables that are approximated by linear combinations of ReLU (rectified linear unit) and squared ReLU ridge functions with $ \ell^1 $ and $ \ell^0 $ controls on their inner and outer parameters. With the squared ReLU ridge function, we show that the $ L^2 $ approximation error is inversely proportional to the inner layer $ \ell^0 $ sparsity and it need only be sublinear in the outer layer $ \ell^0 $ sparsity. Our constructions are obtained using a variant of the Jones-Barron probabilistic method, which can be interpreted as either stratified sampling with proportionate allocation or two-stage cluster sampling. We also provide companion error lower bounds that reveal near optimality of our constructions. Despite the sparsity assumptions, we showcase the richness and flexibility of these ridge combinations by defining a large family of functions, in terms of certain spectral conditions, that are particularly well approximated by them.

研究の動機と目的

• 内側および外側のパラメータに $\ell^1$ および $\ell^0$ 約束を課した場合の、ReLUおよび二乗ReLUリッジ関数の線形結合の近似性能を調査すること。
• パラメータのスパarsity仮定が、高次元関数近似におけるモデルの柔軟性をどの程度制限するかを特定すること。
• これらのリッジ結合を用いた効率的な近似を可能にする、ターゲット関数のスペクトル条件を同定すること。
• スパarsity制約下での $L^2$ および $L^\infty$ ノルムにおける近似誤差のタイトな上界および下界を確立すること。

提案手法

• ジョーンズ＝バロン確率的法の変種が用いられ、層別抽出（比例配分）または二段階クラスタサンプリングとして解釈される。
• 確率的パrameter化が用いられる：各リッジ関数に対して、内側パラメーターベクトル $a_k$ が $\widetilde{a}_{\ell,k}$ を介して確率的に再構築される。ここで $\widetilde{a}_{\ell,k}$ は、$|a_k(j)|$ でスケーリングされたランダムな符号ベクトルである。
• 確率的パrameter化関数の期待値は元のリッジ関数と一致し、不偏近似が保証される。
• 内側パラメータ近似の分散バウンドは、$\mathbb{E}[\widetilde{a}_{\ell,k} \cdot x] = a_k \cdot x$ および $\mathsf{Var}[\widetilde{a}_{\ell,k} \cdot x] \leq \|a_k\|_1 \|x\|_\infty^2 \leq 1$ を用いて導出される。
• 近似誤差はバイアスとバイアスに分解され、三角不等式および $z_+^{s-1}$ の性質を用いてバウンドが導かれる。
• 重要な不等式が用いられる：$|(z)_+ - (z')_+| \leq |z - z'|$ および $s=2$ および $s=3$ に対してそれぞれ $|(z)^2_+ - (z')^2_+ - 2(z - z')(z')_+| \leq |z - z'|^2$。

実験結果

リサーチクエスチョン

• RQ1 内側パラメータの $\ell^0$ スパarsityは、ReLUおよび二乗ReLUリッジ関数の $L^2$ 近似誤差にどのように影響するか？
• RQ2 関数 $f$ にどのようなスペクトル条件が課されると、$\ell^1$ および $\ell^0$ 約束が有界な状態で、このようなリッジ結合による良好な近似が可能になるか？
• RQ3 入力次元 $d$ に依存しない近似誤差バウンドが得られるか、特に $\|a_k\|_1 = 1$ の場合に有効か？
• RQ4 近似レートは下界と比較してどの程度か？ また、構成は近似的に最適か？
• RQ5 確率的法は、制御されたスパarsityを満たす効率的近似を構築する上で果たす役割は何か？

主な発見

• 二乗ReLUリッジ関数の $L^2$ 近似誤差は、内側の $\ell^0$ スパarsityに反比例し、外側の $\ell^0$ スパarsityに関しては部分線形に減少する。
• $s=2$ の場合、$L^2$ の誤差バウンドは $\|f - \mathbb{E}\overline{f}_{m,m_0}\|_2^2 \leq v^2 / m_0$ であり、内側パラメータサンプル数 $m_0$ に反比例する。
• $s=3$ の場合、$L^2$ の誤差バウンドは $\|f - \mathbb{E}\overline{f}_{m,m_0}\|_2^2 \leq v^2 / m_0^2$ であり、$m_0$ に関して二乗改善が得られる。
• 構成は、上界と一致する対応する下界により、近似的に最適性が確認される。
• $v_{f,1} < \infty$（すなわち、$\ell^1$ 重み付き周波数ノルムを持つ可積分なフーリエ変換）を満たす関数は、$L^\infty$ で $O(m^{-1/2})$ のレートで近似可能である。
• この手法により、$\|a_k\|_1 = 1$ および $\|a_k\|_0 \leq m_0$ の制約下でも、次元 $d$ に依存しない $L^2$ の誤差バウンドが可能となる。