[論文レビュー] Generalization and Memorization: The Bias Potential Model

Hongkang Yang, E Weinan|arXiv (Cornell University)|Nov 29, 2020

Statistical Mechanics and Entropy参考文献 53被引用数 8

ひとこと要約

本稿では、機械学習における分布学習の分析のための取り扱いやすい枠組みとしてバイアスポテンシャルモデルを導入し、最終的には記憶や発散に至るが、早期停止により次元に依存しない一般化誤差が達成できることを示している。主な貢献は、適切な関数空間のもとで、早期停止解が一般化誤差を $ O(n^{-\alpha_2}) $ に抑えられることを理論的に保証することであり、生成モデルにおける記憶と一般化の両立の矛盾を解消する。

ABSTRACT

Models for learning probability distributions such as generative models and density estimators behave quite differently from models for learning functions. One example is found in the memorization phenomenon, namely the ultimate convergence to the empirical distribution, that occurs in generative adversarial networks (GANs). For this reason, the issue of generalization is more subtle than that for supervised learning. For the bias potential model, we show that dimension-independent generalization accuracy is achievable if early stopping is adopted, despite that in the long term, the model either memorizes the samples or diverges.

研究の動機と目的

• GAN や分布学習モデルのようなモデルが最終的に訓練データを記憶するにもかかわらず、実際には良好に一般化することの背後にあるパラドックスを解消すること。
• 長期的には記憶や発散に至るにもかかわらず、早期停止が良好な一般化をもたらす理由を理論的に理解する枠組みを構築すること。
• 高次元の分布学習におけるモデルの表現力、サンプリング誤差、訓練ダイナミクスの相互作用を分析すること。
• ある種の表現力のある分布モデルに対して、次元に依存しない事前一般化誤差推定を提供すること。
• 変分法の問題として定式化することで、より安定で一般化可能な分布学習モデルの設計のための数学的基盤を築くこと。

提案手法

• 関数 $ f $ でパrameter化された連続的な変分法問題としてバイアスポテンシャルモデルを定式化し、目的関数 $ L(Q) $ を用いてターゲット分布 $ Q_* $ からの乖離を最小化する。
• 低リーマンチェル複雑性を保証するため、$ f_{\mathbf{w}}(\mathbf{x}) = a(\mathbf{w})\sigma(\mathbf{w} \cdot \tilde{\mathbf{x}}) $ のランダム特徴表現を用いることで、サンプリング誤差 $ Q_* - Q_*^{(n)} $ に対してロバストであるようにする。
• 集中不等式とリーマンチェル複雑性の境界を用いて、真の損失と経験的損失の乖離を制御し、一般化誤差推定を導出する。
• 訓練軌道 $ Q(f(t)) $ が、初期には暗黙の正則化によりターゲット $ Q_* $ に急速に収束し、その後は最終的に発散または経験分布 $ Q_*^{(n)} $ を記憶するという性質を確立する。
• 損失関数の凸性と関数空間の有界性を用いて、事前誤差境界を導出し、早期停止時刻における一般化誤差が $ O(n^{-\alpha_2}) $ に減少することを示す。
• 一般化誤差が小さくかつ次元に依存しない早期停止区間 $[T_{\min}, T_{\max}]$ が存在し、$ T_{\min} \ll n^{\alpha_1} \ll T_{\max} $ となることを特定する。

実験結果

リサーチクエスチョン

• RQ1 訓練データの最終的記憶が避けがたいとしても、次元に依存しない一般化が分布学習モデルで達成可能か？
• RQ2 長期的な訓練で記憶に至るにもかかわらず、なぜ早期停止が GAN のような表現力のあるモデルで良好な一般化をもたらすのか？
• RQ3 関数空間とリーマンチェル複雑性は、分布学習におけるサンプリング誤差への感受性を制御するために果たす役割は何か？
• RQ4 なぜ次元に指数関数的に依存する理論的サンプル複雑性を持つにもかかわらず、GAN のようなモデルは実際には良好に一般化するのか？
• RQ5 分布モデルの訓練ダイナミクスを変分法の問題として定式化することで理論的分析が可能になるか？

主な発見

• バイアスポテンシャルモデルの一般化誤差は、早期停止を適用した場合、入力次元 $ d $ に依存せず $ O(n^{-\alpha_2}) $ に減少する（$ \alpha_2 > 0 $）。
• モデルは2つの明確な訓練段階を示す：真のターゲット $ Q_* $ への急速な収束段階と、その後の最終的な発散または経験分布 $ Q_*^{(n)} $ の記憶段階。
• 表現力のあるモデルでは記憶が避けがたく、命題3.7で示されるように、長期的には一般化誤差が $ n^{-O(1/d)} $ または $ \infty $ に悪化する。
• ランダム特徴モデルのリーマンチェル複雑性により、モデルはサンプリング誤差に対して感受性が低く、結果として記憶が遅延され、広い早期停止窓が得られる。
• 損失関数の凸性と集中不等式を用いて、次元に依存しない事前一般化誤差推定が確立され、これは早期停止解に対して有効である。
• 多項式的サンプルサイズに対して、早期停止区間 $[T_{\min}, T_{\max}]$ は十分に広くなり、早期停止がロバストかつ実用的になる。