[論文レビュー] Adaptive Approximation and Generalization of Deep Neural Network with Intrinsic Dimensionality

Ryumei Nakada, Masaaki Imaizumi|arXiv (Cornell University)|Jul 4, 2019

Neural Networks and Applications参考文献 43被引用数 44

ひとこと要約

本論文は、DNNの近似および一般化の速度が名目上の環境次元ではなくデータの内在ミンコフスキー次元に依存することを証明し、ミニマックス最適性とより広い適用性を示す。

ABSTRACT

In this study, we prove that an intrinsic low dimensionality of covariates is the main factor that determines the performance of deep neural networks (DNNs). DNNs generally provide outstanding empirical performance. Hence, numerous studies have actively investigated the theoretical properties of DNNs to understand their underlying mechanisms. In particular, the behavior of DNNs in terms of high-dimensional data is one of the most critical questions. However, this issue has not been sufficiently investigated from the aspect of covariates, although high-dimensional data have practically low intrinsic dimensionality. In this study, we derive bounds for an approximation error and a generalization error regarding DNNs with intrinsically low dimensional covariates. We apply the notion of the Minkowski dimension and develop a novel proof technique. Consequently, we show that convergence rates of the errors by DNNs do not depend on the nominal high dimensionality of data, but on its lower intrinsic dimension. We further prove that the rate is optimal in the minimax sense. We identify an advantage of DNNs by showing that DNNs can handle a broader class of intrinsic low dimensional data than other adaptive estimators. Finally, we conduct a numerical simulation to validate the theoretical results.

研究の動機と目的

• 高次元データにおけるDNNの性能における内在次元の役割を動機づけ、形式化する。
• ミンコフスキー次元を定義し、それを内在データ構造と関連づける。
• 内在次元dに依存し、外部次元Dではなく、DNNの近似および一般化境界を導く。
• 導出されたレートのミニマックス最適性を示す。
• 理論結果を検証する数値シミュレーションを提供する。

提案手法

• Hölderクラスの f0 を [0,1]^D 上で、共変量分布がミンコフスキー次元dを持つノンパラメトリック回帰をモデル化する。
• f0を近似するために、幅・深さ・パラメータスケールを管理したReLUベースのDNN表現を用いる。
• 領域をハイパーキューブに分割して局所的なテイラー型の台形型近似器を構築し、それを max(x) による統合で結合して誤差の蓄積を抑制する。
• 近似レートを導出: ||R(Ψ)−f0||_{L∞(μ)} = O(W^{−β/d})（Wはパラメータ数）
• 経験的過程理論と局所Rademacher複雑性を用いて、n依存のレートを得る一般化境界を確立: ||f̂ − f0||_{L2(μ)}^2 ≤ C n^{−2β/(2β+d)}（対数因子を含む）
• このレートがほぼ最適であることを示すミニマックス下界を提供: inf f̂ sup (… ) ≥ C′ n^{−2β/(2β+d)}。）

実験結果

リサーチクエスチョン

• RQ1 データの内在ミンコフスキー次元がDNNの近似・一般化の収束率を決定するか。
• RQ2 データが低次元の（非滑らかである可能性のある）集合上にある場合、DNNは従来の高次元境界より速いレートを達成できるか。
• RQ3 Hölder滑らかなターゲットに対して、内在次元dに依存するこのレートはミニマックス最適か。
• RQ4 一般的な内在次元構造の下で、DNNはカーネル/ガウス過程推定器より利点を示すか。
• RQ5 有限深のDNNで提案レートを達成できるか。

主な発見

• 近似誤差は W^{−β/d} に比例し、dはミンコフスキー内在次元で、外部次元D ではない。
• 一般化誤差は n^{−2β/(2β+d)}（対数因子を含む）、外部次元D には依存しない。
• このレートがほぼ最適であることを示す下界と一致する。
• DNNは、非滑らかなフラクタル様のサポートを含む、いくつかの適応推定量よりも広い内在的低次元データのクラスに対応できる。
• 数値シミュレーションは理論レートを裏付け、内在次元が小さくなると性能に與える影響を示す。