[論文レビュー] A Generalization Bound of Deep Neural Networks for Dependent Data

Quan Do, Binh T. Nguyen+1 more|arXiv (Cornell University)|Oct 9, 2023

Stochastic Gradient Optimization TechniquesComputer Science被引用数 3

ひとこと要約

この論文は、非i.i.d.かつ非定常な $φ$-mixing データの下で、フィードフォワード深層ニューラルネットワークの一般化バウンドを確立する。標準的な i.i.d. の仮定を緩和することで、疫学やファイナンスのような依存性のあるデータ設定にまで一般化理論を拡張する。ラデマッハ複雑度を用い、弱い依存性と時間変動する周辺分布を考慮することで、一般化誤差バウンドを導出する。

ABSTRACT

Existing generalization bounds for deep neural networks require data to be independent and identically distributed (iid). This assumption may not hold in real-life applications such as evolutionary biology, infectious disease epidemiology, and stock price prediction. This work establishes a generalization bound of feed-forward neural networks for non-stationary $ϕ$-mixing data.

研究の動機と目的

• 実世界の応用において一般的な、依存性と非定常性を示すデータに対して、深層ニューラルネットワークの一般化理論の欠如に対処すること。
• 既存の一般化バウンドにおける i.i.d. 仮定を緩和し、時間とともに依存性が減少する $φ$-mixing 列に適応させること。
• 周辺分布が時間とともに変化するが、目標分布へサブガウス型のレートで収束する非同一分布データを許容すること。
• これらの緩和された確率的仮定の下で、フィードフォワードニューラルネットワークに対する一様一般化バウンドを導出すること。
• 進化的生物学、疾患モデリング、金融時系列など、データの依存性が本質的である分野における理論的保証を可能にすること。

提案手法

• 観測間の依存性が時間的隔たりとともに減少する非定常な $φ$-mixing 確率過程として、データ生成プロセスを形式化する。
• フィードフォワードニューラルネットワークの仮説空間における期待損失と経験損失の差を、ラデマッハ複雑度を用いてバウンドする。
• 混合係数の減少率 $φ(n) = Ø(1/n)$ と、経験的分布と目標分布間の全 Variation 距離 $μ_n = Ø(1/√{n})$ を組み込んだ、新しいバウンドを導入する。
• スペクトルノルムおよび $\ell_{2,1}$-ノルムが有界な重み行列の集合に対する和集合による一様バウンドを適用する。
• 各層の活性化関数が $p_i$-リプシッツ連続で、重み行列が有界であるReLU型ネットワークのラデマッハ複雑度バウンドを導出する。
• 一般化バウンドをマージンに基づく誤差分解と組み合わせることで、分類誤差を経験損失と複雑度項に関連付ける。

実験結果

リサーチクエスチョン

• RQ1 時系列データに弱い依存性があるような非i.i.d.かつ非定常データに対し、深層ニューラルネットワークの一般化バウンドを拡張できるか？
• RQ2 $φ$-mixing 列における依存性の減少が、深層ニューラルネットワークの一般化誤差にどのように影響するか？
• RQ3 時間変動する周辺分布が、経験的リスクから期待リスクへの収束に与える影響は何か？
• RQ4 弱い依存性と非同一分布の下で、ラデマッハ複雑度を一般化誤差バウンドに適応できるか？
• RQ5 データが独立同分布に近づくとき、提案されたバウンドは標準的な i.i.d. の場合に回復するか？

主な発見

• 一般化バウンドは、非i.i.d.かつ非定常な $φ$-mixing 仮定の下で導出され、時間依存性のあるデータに適用可能である。
• バウンドには、経験的周辺分布が目標分布に収束する様子を捉える項 $\frac{1}{n}\sum_{i=1}^{n}\mu_i = \mathcal{O}(1/\sqrt{n})$ が含まれる。
• 項 $||\Delta_n||_{\infty} = \mathcal{O}(\log n)$ は、混合係数を通じて依存構造を反映し、弱い依存性が一般化に与える影響を示す。
• ラデマッハ複雑度項は $\mathcal{O}\left(\frac{\ln n}{n}\right)$ のスケーリングを示し、ネットワークの深さ、重みノルム、活性化関数のリプシッツ定数に明示的な依存性を示す。
• 最終的な一般化誤差バウンドには、分布シフトに起因する $\mathcal{O}(1/\sqrt{n})$ 項と、混合依存性に起因する $\mathcal{O}(\log n / n)$ 項が含まれる。
• データが独立同分布に近づくとき、$\varphi(n) \to 0$ かつ $\mu_n \to 0$ が十分に速く成立すれば、バウンドは Bartlett et al. (2017) の i.i.d. の場合に回復する。