[論文レビュー] Information-Theoretic Local Minima Characterization and Regularization

Zhiwei Jia, Hao Su|arXiv (Cornell University)|Nov 19, 2019

Advanced Neural Network Applications参考文献 54被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワークにおける局所的最適解の特徴付けと正則化を目的とした情報理論的指標を提案する。フィッシャー情報の行列式に基づく指標を用い、実用的で計算可能な近似と正則化手法を導出し、CIFAR-10、CIFAR-100、ImageNetの各データセットで一貫した性能向上を達成するとともに、PAC-Bayesに裏付けられた理論的一般化境界を提供する。

ABSTRACT

Recent advances in deep learning theory have evoked the study of generalizability across different local minima of deep neural networks (DNNs). While current work focused on either discovering properties of good local minima or developing regularization techniques to induce good local minima, no approach exists that can tackle both problems. We achieve these two goals successfully in a unified manner. Specifically, based on the observed Fisher information we propose a metric both strongly indicative of generalizability of local minima and effectively applied as a practical regularizer. We provide theoretical analysis including a generalization bound and empirically demonstrate the success of our approach in both capturing and improving the generalizability of DNNs. Experiments are performed on CIFAR-10, CIFAR-100 and ImageNet for various network architectures.

研究の動機と目的

• 深層ニューラルネットワークにおける一般化可能な局所的最適解の特徴付けと正則化を統合すること。
• 一般化可能性の特徴付けと正則化を別々の問題として扱う既存の研究のギャップを埋めること。
• 理論的に妥当であり、実験的にも有効なフィッシャー情報に基づく指標を開発すること。
• この指標から導出された実用的正則化手法を設計し、訓練効率を損なわずに一般化性能を向上させること。
• 多様なアーキテクチャとデータセットにおいて一貫した一般化性能の向上を実証すること。

提案手法

• 本稿では、学習データから推定したフィッシャー情報の行列式に基づく指標を導入し、一般化性能と強く相関することが示された。
• 指標の有効性を理論的に裏付けるために、PAC-Bayesに基づく一般化境界を提示した。
• 局所的最適解間での比較に実用的である、計算可能な指標の近似手法を提案した。
• 指標から派生した新しい正則化手法を導出し、アルゴリズム1で提示される修正された更新則を介して最適化に統合した。
• 初期最適化段階での数値的不安定性を避けるために、正則化を後段階の訓練に限定的に適用した。
• 本手法は、ResNet、Wide-ResNet、DenseNetを用いたSGD with momentumを用いて、CIFAR-10、CIFAR-100、ImageNetで評価された。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおける局所的最適解のどの性質が、より良い一般化性能と相関するか？
• RQ2 1つの情報理論的指標が、一般化可能な最適解の特徴付けと最適化の誘導を同時に果たせるか？
• RQ3 現代の深層学習訓練に応用可能な、フィッシャー情報の行列式を効率的に近似する方法は何か？
• RQ4 この指標から導出された正則化手法は、多様なアーキテクチャとデータセットで一貫して一般化性能を向上させるか？
• RQ5 提案手法は、テスト精度と頑健性の観点で、既存の正則化および最適化手法を上回ることができるか？

主な発見

• フィッシャー情報の行列式に基づく提案指標は、異なる局所的最適解において一般化性能と強く相関することが確認された。
• CIFAR-10およびCIFAR-100において、ResNet-20、Wide-ResNet-28-2、DenseNet-k12の全アーキテクチャで一貫した一般化性能の向上が達成され、複数回の実験でテスト誤差の低減が観察された。
• ImageNetにおいても、評価されたすべてのアーキテクチャで一般化性能が向上し、3回の実験における平均 ± 標準偏差として結果が報告された。
• 正則化手法はミニバッチあたりの訓練時間を1.5倍にしか増加させず、計算効率が優れていることが示された。
• アブレーションスタディの結果、正則化は中盤から後段の訓練段階で最も効果的であり、学習率が低下した後に適用することで、訓練速度を顕著に向上させることができた。
• 表3は、正則化を用いて訓練されたモデルが、より低い指標値（平坦性が高いため）を達成しており、一般化性能の向上と整合的であることを確認した。