[論文レビュー] Deep ReLU network approximation of functions on a manifold

Johannes Schmidt-Hieber|arXiv (Cornell University)|Aug 2, 2019

Neural Networks and Applications参考文献 27被引用数 53

ひとこと要約

本論文は、疎に接続された深い ReLU ネットワークが、より高次元に埋め込まれた d* 次元の多様体上で定義される Hölder 関数を近似できることを示し、誤差 ε を達成するのに O(ε^{-d*/β} log(1/ε)) 個の非ゼロパラメータを要すること、およびこのようなネットワークに対する ERM の統計的リスク界を導出することを示す。

ABSTRACT

Whereas recovery of the manifold from data is a well-studied topic, approximation rates for functions defined on manifolds are less known. In this work, we study a regression problem with inputs on a $d^*$-dimensional manifold that is embedded into a space with potentially much larger ambient dimension. It is shown that sparsely connected deep ReLU networks can approximate a Hölder function with smoothness index $β$ up to error $ε$ using of the order of $ε^{-d^*/β}\log(1/ε)$ many non-zero network parameters. As an application, we derive statistical convergence rates for the estimator minimizing the empirical risk over all possible choices of bounded network parameters.

研究の動機と目的

• 未知の d*-次元多様体が高次元空間に埋め込まれている場合の入力に対し、関数近似の研究を動機づける。
• 多様体構造を活用して有利な近似速度を達成する深い ReLU ネットワークの構築を開発する。
• ε, d*, β, ログ因子を結ぶ明示的なパラメータ数の境界と誤差率を確立する。
• 多様体回帰設定における sparsely connected deep ReLU ネットワークの ERM に対する統計的リスク界を導く。

提案手法

• 重みを有界に保ち、疎結合の深い ReLU ネットワークを定義する。
• 多様体上の partition of unity と局所チャート近似を活用するネットワーク構築を開発する。
• 光滑な局所座標とテイラー型近似を用いて局所ネットワークを構築し、ReLU 特性によるスキップ/アイデンティティを含むネットワーク結合ルールで統合する。
• 局所座標が滑らかなコンパクト多様体上の Hölder 関数に対する近似界を証明し、 log項を含む ε^{-d*/β} の速度を導く。
• 近似品質を損なうことなく、すべてのネットワークパラメータを絶対値が 1 以下に保てることを示す（ bounded-parameter regime）。
• その近似誤差を、ネットワーククラス上の経験的リスク最小化の統計的リスク界（オラクル型不等式）へ転換する。

実験結果

リサーチクエスチョン

• RQ1 疎結合の深い ReLU ネットワークは、入力が多様体上にある場合、 ε^{-d*/β}（対数因子は除く）速度で Hölder 関数を近似できるか？
• RQ2 多様体上で ε-近似を達成するには、非ゼロパラメータはいくつ必要で、重みを1で束縛できるか？
• RQ3 未知の多様体上のデータに対して、このようなネットワーククラスでの ERM の統計的リスクにはどう影響するか？
• RQ4 局所座標チャートと unity の分割を深層ネットワークに組み込み、多様体構造を活用して近似を改善するにはどうする？

主な発見

• 局所座標が滑らかなコンパクト d*-次元多様体上で ε-近似は、疎結合の ReLU ネットワークで O(ε^{-d*/β} log(1/ε)) 非ゼロパラメータで達成可能。
• 構築は局所チャート、partition of unity、乗算ネットワークから成り、ネットワーク結合ルールで組み合わせる。
• すべてのネットワーク重みは絶対値を 1 以下に選べる、実用的な初期化・訓練制約と一致。
• 多様体上の入力での回帰では、ネットワーククラス上の経験的リスク最小化は、深さ L とパラメータ疎性 s の適切な選択で、予測リスクが n^{-2β/(2β+d*)}（多項式対数因子を除く）程度を達成。
• 結果は、幾何学的な多様体構造（次元 d*）と近似・統計的レートを結びつけ、多様体の滑らかな座標チャートを活用する利点を強調。