[論文レビュー] Deep ReLU networks lessen the curse of dimensionality

Hadrien Montanelli, Qiang Du|arXiv (Cornell University)|Dec 23, 2017

Neural Networks and Applications参考文献 17被引用数 19

ひとこと要約

この論文は、スパースグリッド構造を活用することで、深層ReLUネットワークが多次元関数の近似において次元の呪いを軽減できることを示している。次元に伴い有利にスケーリングする改善された誤差バウンドを確立し、高次元設定において従来の手法よりも優れた近似レートを達成できることを示している。

ABSTRACT

We prove a theorem concerning the approximation of multivariate functions by deep ReLU networks. We present new error estimates for which the curse of the dimensionality is lessened by establishing a connection with sparse grids.

研究の動機と目的

• 深層ReLUネットワークが高次元関数の近似において次元の呪いを克服できるかどうかを調査すること。
• 従来の手法と比較して、深層ReLUネットワークを用いた関数近似のよりタイトな誤差バウンドを確立すること。
• 深層ネットワーク近似とスパースグリッド理論を結びつけることで、高次元における計算複雑性を低減すること。
• 深層ネットワークが浅層ネットワークや標準的な近似スキームよりも優れた収束レートを達成できることを実証すること。

提案手法

• 著者たちは、階層的スパースグリッド分解を用いて多次元関数を近似する深層ReLUネットワークを構成的構築する手法を用いる。
• 目的関数を階層的余剰項の和に分解し、各項をスパースグリッドのレベルごとの浅層ReLUネットワークで近似する。
• ネットワークアーキテクチャはグリッドのスパarsityを活用するように設計されており、高次元近似に必要なパラメータ数を削減する。
• 誤差推定は、各スパースグリッドレベルにおける近似誤差を分析し、レベル間で寄与を合算することで導出される。
• ネットワークの深さとグリッドのスパarsityの関係を分析し、より深いネットワークがより高い近似効率を達成できることを示している。
• 主な理論的ツールには、区分的線形の細分化とReLU活性化関数を用いて階層的基底関数を表現することである。

実験結果

リサーチクエスチョン

• RQ1 深層ReLUネットワークは多次元関数近似において次元の呪いを軽減できるか？
• RQ2 高次元において、深層ReLUネットワークの誤差バウンドは、浅層ネットワークや従来の手法と比べてどのように異なるか？
• RQ3 スパースグリッドは、深層ReLUネットワークによる効率的近似を可能にする役割を果たすか？
• RQ4 深層ネットワークの近似レートを、下位のグリッド構造のスパarsityと定量的に結びつけることができるか？

主な発見

• 深層ReLUネットワークは次元に伴い指数的でないスケーリングで誤差バウンドを達成し、次元の呪いを顕著に軽減する。
• 誤差バウンドはグリッドのスパarsityと目的関数の滑らかさに依存し、標準的なテンソル積グリッドと比較して改善されたレートを示す。
• 構築手法により、より深いネットワークが浅層ネットワークよりも少ないパラメータで高次元関数を表現できることを示している。
• 理論的枠組みにより、有利な状況では次元に依存しない速度で誤差が減少するように、深層ネットワークが高次元関数を近似できることを確立している。