[論文レビュー] Nearly Optimal VC-Dimension and Pseudo-Dimension Bounds for Deep Neural Network Derivatives

Yahong Yang, Haizhao Yang+1 more|arXiv (Cornell University)|May 15, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿は、ReLU活性化関数を用いた深層ニューラルネットワーク（DNN）の導関数に関する、ほぼ最適なVC次元および擬似次元の境界を確立する。これは、チェーンルールに起因する依存関係を新たな手法で分析することで達成された。主な貢献は、幅 ≤ N、深さ ≤ L、ReLU活性化を有するDNNの導関数のVC次元に対するタイトな境界 $\mathcal{O}(N^2L^2\log L\log N)$ の確立であり、これがSobolev空間における最適近似と、物理的制約付きおよび導関数に基づく学習モデルのより緊密な一般化誤差境界を可能にする。

ABSTRACT

This paper addresses the problem of nearly optimal Vapnik--Chervonenkis dimension (VC-dimension) and pseudo-dimension estimations of the derivative functions of deep neural networks (DNNs). Two important applications of these estimations include: 1) Establishing a nearly tight approximation result of DNNs in the Sobolev space; 2) Characterizing the generalization error of machine learning methods with loss functions involving function derivatives. This theoretical investigation fills the gap of learning error estimations for a wide range of physics-informed machine learning models and applications including generative models, solving partial differential equations, operator learning, network compression, distillation, regularization, etc.

研究の動機と目的

• 深層ニューラルネットワークの導関数の複雑さに関するタイトな理論的境界の欠如に取り組むこと。これはSobolev訓練および物理的制約付き機械学習にとって不可欠である。
• 関数の導関数を含む損失関数を用いるモデルにおける一般化誤差推定のギャップを埋めること。
• DNNの導関数のVC次元および擬似次元に関するほぼ最適な境界を確立し、先行研究の部分的な解析の限界を克服すること。

提案手法

• チェーンルールによって生じる依存関係を明示的にモデル化することで、DNNの導関数の合成的構造を分析する新しい手法を提案する。
• ReLUベースのDNN $\phi$ の弱い導関数 $D_i\phi$ の洗練された分析を用いて、複雑さの境界を導出する。
• 幅 ≤ N、深さ ≤ L、ReLU活性化を有するDNNに対して、VC次元のほぼ最適な境界 $\text{VCdim}(D\Phi) \leq \bar{C}N^2L^2\log_2 L\log_2 N$ を確立する。
• Dudleyの定理および擬似次元を用いた被覆数の境界を活用し、Rademacher複雑さおよび一般化誤差を推定する。
• 一般化誤差を制御するために、擬似次元に基づく被覆数推定 $\mathcal{N}(\varepsilon, \mathcal{F}, n) \leq \left(\frac{2enB}{\varepsilon \cdot \text{Pdim}(\mathcal{F})}\right)^{\text{Pdim}(\mathcal{F})}$ を適用する。
• 訓練サンプル数 $M$ を用いて、導関数クラスの一般化誤差境界 $\mathcal{O}\left(\frac{NL(\log L \log N)^{1/2}}{\sqrt{M}} \log M\right)$ を導出する。

実験結果

リサーチクエスチョン

• RQ1 有界な幅と深さを持つReLUベースの深層ニューラルネットワークの導関数の最適VC次元は何か？
• RQ2 Sobolevノルムに基づく損失関数に適したタイトな一般化誤差推定を可能にするために、DNNの導関数の擬似次元をどのように境界づけられるか？
• RQ3 チェーンルールに起因するDNNの導関数における項の複雑な相互依存性を、従来の手法よりもタイトな複雑さの境界を導出するためにどのように活用できるか？
• RQ4 得られた境界は、既存の結果と比較して、Sobolev空間における近似誤差をどの程度改善するか？
• RQ5 導出された複雑さの境界は、導関数に基づく損失関数を用いる機械学習モデルの一般化誤差をどの程度タイトにできるか？

主な発見

• ReLUベースのDNNの導関数クラス $D\Phi$ のVC次元は、$\mathcal{O}(N^2L^2\log L\log N)$ で抑えられ、これはほぼ最適である。
• 導関数クラス $D\widetilde{\Phi}$ の擬似次元は、$\mathcal{O}(N^2L^2\log L\log N)$ で抑えられ、VC次元の境界とオーダーの大きさで一致する。
• 導関数クラスのRademacher複雑さは、$\mathcal{O}\left(\frac{NL(\log L \log N)^{1/2}}{\sqrt{M}} \log M\right)$ で抑えられ、$M$ は訓練サンプル数である。
• 導関数に基づく損失関数の一般化誤差は、$\mathcal{O}\left(\frac{NL(\log L \log N)^{1/2}}{\sqrt{M}} \log M\right)$ で抑えられ、これまではより緩い結果であった。
• 導出された境界により、Sobolev空間におけるほぼ最適な近似レートが達成され、この設定におけるDNNの理論的最適性が裏付けられる。
• 本分析は、先行研究の主要な限界を解消し、DNNの導関数におけるチェーンルールの項の乗法的構造を考慮することで、著しく改善された境界が得られた。