[論文レビュー] New error bounds for deep networks using sparse grids

Hadrien Montanelli, Qiang Du|arXiv (Cornell University)|Dec 23, 2017

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

この論文は、スパースグリッド近似を活用することで、Korobov空間に属する多変数関数を近似する深層ReLUニューラルネットワークの新たな誤差境界を確立する。次元の呪いが著しく軽減され、深さとサイズがそれぞれ $\mathcal{O}(|\log_2 epsilon| \log_2 d)$ および $\mathcal{O}(\epsilon^{-1/2} |\log_2 epsilon|^{3(d-1)/2 + 1} \log_2 d)$ にスケーリングされることを示し、スパースグリッドの細分化を模倣するバイナリーツリー構造を活用することで実現される。

ABSTRACT

We prove a theorem concerning the approximation of multivariate functions by deep ReLU networks. We present new error estimates for which the curse of the dimensionality is lessened by establishing a connection with sparse grids.

研究の動機と目的

• 深層ReLUネットワークとスパースグリッド理論を結びつけることで、深層学習近似における次元の呪いを緩和すること。
• Korobov空間に属する関数に対する深層ネットワークを用いた近似誤差の厳密な上界を確立すること。
• 階層的スパースグリッド構造を活用することで、深層ネットワークが浅層ネットワークよりも優れた収束速度を達成できることを示すこと。
• ネットワークアーキテクチャが目的関数に依存せず、関数に応じて重みのみが適応することを示すこと。

提案手法

• この手法は、Korobov空間の関数のスパースグリッド補間を近似する深層ReLUネットワークを構築し、階層的基底表現を用いる。
• スパースグリッドの細分化プロセスを模倣するためにバイナリーツリー構造を用い、深さと幅の効率的制御を可能にする。
• 係数 $v_{\boldsymbol{l},\boldsymbol{i}}$ を持つ基底関数 $\phi_{\boldsymbol{l},\boldsymbol{i}}$ を使用し、$2^{-|\boldsymbol{l}|_1}$ の割合で減少させることで、安定性と収束性を確保する。
• 近似誤差を二つの部分に分割して上限を求める：スパースグリッド展開の切り捨て誤差と、基底関数のネットワーク近似誤差。
• 深さは細分化レベル $\ell$ の対数スケーリングに従い、深さ $\mathcal{O}(|\log_2 \delta| \log_2 d)$ に制御される。ここで $\delta$ は切り捨て誤差を制御する。
• ネットワークのサイズは、バイナリーツリー内の有効ノード数に基づき導出され、基底関数の数と細分化レベルに比例してスケーリングされる。

実験結果

リサーチクエスチョン

• RQ1 スパースグリッド構造を活用することで、深層ReLUネットワークは高次元関数に対して浅層ネットワークよりも優れた近似レートを達成できるか？
• RQ2 スパースグリッドの使用は、深層ネットワーク近似における次元の呪いをどの程度軽減するか？
• RQ3 スパースグリッドの階層的構造を、バイナリーツリー構造を用いた深層ReLUネットワークがどのように模倣できるか？
• RQ4 この枠組みにおいて、ネットワークの深さとサイズは、所望の精度 $\epsilon$ と次元 $d$ にどのよう依存するか？
• RQ5 同じネットワークアーキテクチャで、Korobov空間のすべての関数を近似可能であり、関数ごとに重みのみを調整すればよいか？

主な発見

• 近似誤差は、深さ $\mathcal{O}(|\log_2 \epsilon| \log_2 d)$ のネットワークを用いて $\|f - f_N\|_{\infty} \leq \epsilon$ に抑えられる。
• ネットワークサイズは $\mathcal{O}(\epsilon^{-1/2} |\log_2 \epsilon|^{3(d-1)/2 + 1} \log_2 d)$ にスケーリングされ、古典的境界と比較して次元に伴う指数的依存が顕著に軽減されている。
• スパースグリッドの非等方的構造を活用することで、次元の呪いが軽減され、軸に沿った関数の挙動と整合性が良い。
• ネットワークアーキテクチャは目的関数に依存せず、重み $v_{\boldsymbol{l},\boldsymbol{i}}$ のみが関数に応じて調整されるため、関数クラスに対して普遍的な設計が可能である。
• 証明は、係数の減少とバイナリーツリーによる基底関数近似の制御に依存し、$\delta = \epsilon/2$ のとき総誤差が $\epsilon$ 以下に保たれることを保証する。
• このアプローチは、$\ell^2$-減少を満たす係数と効率的に実装可能な基底関数を持つ任意の展開に一般化可能であり、広範な適用可能性を示唆している。