[論文レビュー] Learning Compact Neural Networks with Regularization

Samet Oymak|arXiv (Cornell University)|Feb 5, 2018

Domain Adaptation and Few-Shot Learning被引用数 3

ひとこと要約

本稿では、一般化性と最適化性を向上させるために、コン pact な浅いニューラルネットワークを学習する正則化勾配降下フレームワークを提案する。制約集合の複雑さを定量化するために被覆次元を導入することで、データサイズがこの次元を超えると、局所的線形収束性と近似的に最適なサンプル複雑度が達成可能であることが示され、スパarsity、低ランク、重み共有の制約を課した過パラメータ化モデルの効率的訓練が可能になる。

ABSTRACT

Proper regularization is critical for speeding up training, improving generalization performance, and learning compact models that are cost efficient. We propose and analyze regularized gradient descent algorithms for learning shallow neural networks. Our framework is general and covers weight-sharing (convolutional networks), sparsity (network pruning), and low-rank constraints among others. We first introduce covering dimension to quantify the complexity of the constraint set and provide insights on the generalization properties. Then, we show that proposed algorithms become well-behaved and local linear convergence occurs once the amount of data exceeds the covering dimension. Overall, our results demonstrate that near-optimal sample complexity is sufficient for efficient learning and illustrate how regularization can be beneficial to learn over-parameterized networks.

研究の動機と目的

• 正則化を用いた一般化および最適化性の向上を図る、コン pact ニューラルネットワークを学習する一般枠組みの構築。
• 制約集合の被覆次元を用いて、正則化のモデル複雑度への影響を定量化すること。
• 近似的に最適なサンプル複雑度を伴う、正則化勾配降下の証明可能な局所的線形収束性の確立。
• 畳み込みネットワークや深層ネットワークの中間層における構造的アーキテクチャへの理論的保証の拡張。
• 正則化が最適化の多様性を制御することで、過パラメータ化モデルの効率的訓練を可能にすること。

提案手法

• 制約集合の複雑さを測る指標として被覆次元を導入し、一般化と最適化を分析する。
• 制約集合 $\mathcal{C}$ の事前知識を組み込んだ正則化勾配降下アルゴリズムを提案する。
• データサイズが $\mathcal{C}$ の被覆次元を超えると、問題が適切に条件付けられることを示し、最適化の多様性を分析する。
• ラデマッハ複雑度を用いて一般化誤差の上限を導出し、それが $\mathcal{C}$ の被覆次元と隠れユニット数 $h$ の和に依存することを示す。
• 重み共有とテンソル初期化を活用することで、畳み込みネットワークにフレームワークを適用し、グローバル収束性を向上させる。
• 中間層の学習をランダム活性化仮定のもとでモデル化することで、深層ネットワークへの結果の拡張を図り、最小限のデータでグローバル線形収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 正則化は浅いニューラルネットワークの一般化性と最適化特性にどのように影響を与えるか？
• RQ2 制約集合の被覆次元は、サンプル複雑度と収束行動を決定づける上で果たす役割は何か？
• RQ3 過パラメータ化設定下で、正則化勾配降下は近似的に最適なサンプル複雑度を伴い、局所的線形収束を達成できるか？
• RQ4 スパarsity、低ランク、重み共有の制約は、ニューラルネットワークの一般化性と最適化にどのように影響を与えるか？
• RQ5 提案されたフレームワークは、ランダム活性化モデルを用いた中間層学習を通じて、深層ネットワークへ拡張可能か？

主な発見

• 訓練データ数が制約集合の被覆次元と隠れユニット数 $h$ の和を超えると、一般化誤差が有界になる。
• データサイズが制約集合 $\mathcal{C}$ の被覆次元を超えると、正則化勾配降下は局所的線形収束を達成する。
• 提案フレームワークは、従来の研究に比べ、必要なサンプル複雑度を低減し、全結合ネットワークにおける局所収束の半径を拡大することで、改善を図っている。
• 畳み込みネットワークでは、テンソル初期化と組み合わせることで、より優れたグローバル収束保証が得られる。
• 深層ネットワークでは、ランダム活性化モデルのもとで中間層の学習に対して、最小限のデータ要件でグローバル線形収束が達成される。
• 被覆次元は、一般化と最適化の両方のキーパラメータとして機能し、制約構造とサンプル効率性を結びつける。