[論文レビュー] Learning Neural Network Classifiers with Low Model Complexity

Jayadeva, Himanshu Pant+6 more|arXiv (Cornell University)|Jul 31, 2017

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 3

ひとこと要約

本稿では、モデルの複雑さを制御するための、微分可能で連続的なファットシャッタリングVC次元の上界を最小化する、LCNN学習ルールという新しい訓練手法を提案する。この手法により、収束が速くなり、一般化性能が向上し、消失勾配効果が軽減される。このアプローチは、フィードフォワード、畳み込み、オートエンコーダー網を含む多様なネットワークで性能を向上させ、MNIST、CIFAR-10、CIFAR-100、SVHN、EMNIST、Fashion-MNIST、Kuzushiji-MNIST などの多様なデータセットにおいて、ドロップアウトやバッチ正規化といった標準的な正則化手法を上回る結果を得た。

ABSTRACT

Modern neural network architectures for large-scale learning tasks have substantially higher model complexities, which makes understanding, visualizing and training these architectures difficult. Recent contributions to deep learning techniques have focused on architectural modifications to improve parameter efficiency and performance. In this paper, we derive a continuous and differentiable error functional for a neural network that minimizes its empirical error as well as a measure of the model complexity. The latter measure is obtained by deriving a differentiable upper bound on the Vapnik-Chervonenkis (VC) dimension of the classifier layer of a class of deep networks. Using standard backpropagation, we realize a training rule that tries to minimize the error on training samples, while improving generalization by keeping the model complexity low. We demonstrate the effectiveness of our formulation (the Low Complexity Neural Network - LCNN) across several deep learning algorithms, and a variety of large benchmark datasets. We show that hidden layer neurons in the resultant networks learn features that are crisp, and in the case of image datasets, quantitatively sharper. Our proposed approach yields benefits across a wide range of architectures, in comparison to and in conjunction with methods such as Dropout and Batch Normalization, and our results strongly suggest that deep learning techniques can benefit from model complexity control methods such as the LCNN learning rule.

研究の動機と目的

• 過剰なパラメータ数を有する大規模なディープニューラルネットワークに共通する過学習と一般化性能の低さを是正すること。
• ニューラルネットワーク分類器のファットシャッタリングVC次元に対する微分可能で連続的な上界を確立すること。
• 経験的誤差と構造的リスクの両方をバランスさせる損失関数を設計し、モデルの複雑さを最小化しながら高い精度を維持すること。
• LCNNルールにより、深層部の勾配を強化することで、消失勾配問題を軽減すること。
• LCNNアプローチの汎用性と有効性を、多様なアーキテクチャとデータセットを用いて実証すること。

提案手法

• ニューラルネットワークの最終分類器層のファットシャッタリングVC次元に対する連続的かつ微分可能な上界を導出する。
• 経験的リスクとVC次元の上界を組み合わせた合成損失関数を定式化し、総合的リスクを最小化する。
• バックプロパゲーションを用いてLCNN損失関数の勾配を計算し、重みとバイアスの更新に用いるLCNN学習ルールを導出する。
• LCNN損失項を正則化成分として訓練目的関数に統合し、複雑さのトレードオフを制御するグローバルハイパーパrameterを導入する。
• 勾配降下法を用いて、フィードフォワードネットワーク、CNN、スパースオートエンコーダーにLCNNルールを適用する。
• 最終層およびその直前層の勾配を分析し、消失勾配効果の低減を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク分類器に対して、ファットシャッタリングVC次元の微分可能で連続的な上界を導出可能か？ これによりモデルの複雑さを制御できるか？
• RQ2 この上界と経験的誤差を併用して最小化することで、より良い一般化性能とより速い収束が達成できるか？
• RQ3 LCNNルールは、深層ネットワークにおける消失勾配問題をどの程度軽減できるか？
• RQ4 テスト精度と学習速度の観点から、ドロップアウトやバッチ正規化といった既存の正則化手法と比較して、LCNNアプローチはどのように優れているか？
• RQ5 CNN、FNN、オートエンコーダーを含む多様なアーキテクチャに、LCNN手法は効果的に適用可能か？

主な発見

• MNISTデータセットにおいて、LeNetアーキテクチャで170エポック後にLCNNを適用した場合、テスト誤差は0.84%に低下した。LCNNなしの場合は0.94%であったため、一般化性能の向上が明確に示された。
• 最終層およびその直前層における勾配の平均絶対値は、LCNN適用時においてほぼ1桁分高い結果を示し、消失勾配効果の低減が裏付けられた。
• LCNN手法により、畳み込み層で鋭くコントラストの高いフィルタが得られ、より明確で判別力の高い特徴表現が得られた。
• LCNNルールは、全結合ネットワーク、CNN、スパースオートエンコーダーを含む複数のアーキテクチャにおいて、収束速度とテスト精度の両方を一貫して向上させた。
• ベンチマークデータセットにおいて、ドロップアウトやバッチ正規化といった標準的な正則化手法よりも、テスト精度と学習効率の両面でLCNNアプローチが優れていた。
• LCNN手法により、重みヒストограмの分析からパラメータの冗長性が低減したことが確認され、VC次元の上界が低いスパースなモデルが得られた。