[論文レビュー] On improving deep learning generalization with adaptive sparse connectivity

Shiwei Liu, Decebal Constantin Mocanu+1 more|TU/e Research Portal|Jun 27, 2019

Evolutionary Algorithms and Applications参考文献 20被引用数 6

ひとこと要約

本稿では、内在的にスパースな多層パーセプトロン（MLP）に対して反復的ニューロンプルーニングを適用することで、スパースな進化的訓練（SET）を強化するNPSETという手法を提案する。これにより、パラメータを約50%削減しつつ汎化性能を向上させた。本手法は線形のパラメータスケーリングを維持し、15のデータセットにおいて完全結合ネットワークを上回るテスト精度を達成した。適応的スパarsityと暗黙の正則化によって、優れた汎化性能を実現した。

ABSTRACT

Large neural networks are very successful in various tasks. However, with limited data, the generalization capabilities of deep neural networks are also very limited. In this paper, we empirically start showing that intrinsically sparse neural networks with adaptive sparse connectivity, which by design have a strict parameter budget during the training phase, have better generalization capabilities than their fully-connected counterparts. Besides this, we propose a new technique to train these sparse models by combining the Sparse Evolutionary Training (SET) procedure with neurons pruning. Operated on MultiLayer Perceptron (MLP) and tested on 15 datasets, our proposed technique zeros out around 50% of the hidden neurons during training, while having a linear number of parameters to optimize with respect to the number of neurons. The results show a competitive classification and generalization performance.

研究の動機と目的

• 訓練データが限られた状況における深層ニューラルネットワークの汎化と過学習の問題に対処すること。
• 事前に完全結合ネットワークを訓練する必要がある従来のプルーニング手法のスケーラビリティの制限を克服すること。
• ニューロンプルーニングを統合することで、モデルの複雑さをさらに低減するSparse Evolutionary Training（SET）プロセスを改善すること。
• 内在的にスパースなネットワークにおける適応的接続性が、完全結合ネットワークと比較してより優れた汎化性能を示すことを実証的に検証すること。
• 動的接続性の進化による暗黙の正則化が、明示的な正則化技術を用いずに汎化性能を向上させることを示すこと。

提案手法

• スパースな進化的訓練（SET）と反復的ニューロンプルーニングを統合した、新しいトレーニング手順NPSETを導入し、非情報的であるとされる隠れニューロンを動的に削除する。
• γエポックごとに、出力接続数が最も少ないニューロンに対して、大きさに基づくプルーニングを適用し、有効なニューロンと接続数を削減する。
• トレーニング全体を通してスパースな初期トポロジーを維持し、完全結合ネットワークが負う2次関数的パラメータオーバーヘッドを回避する。
• 2段階のトレーニング戦略を採用：最初にプルーニングを伴うトレーニングを行い、その後プルーニングなしでSETトレーニングを継続して性能を安定化させる。
• 最適なパフォーマンスを得るためのハイパーパramータサーチを実施し、α=0.04（プルーニング閾値）、β=10（接続削除レート）、γ=40（プルーニング頻度）を調整する。
• 同一の最終アーキテクチャを有するSET、完全結合MLP、および直接SET/FC-MLPベースラインと比較することで、公平な評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 SETと組み合わせた反復的ニューロンプルーニングが、単独のSETと比較してスパースMLPの汎化性能をさらに向上させることができるか？
• RQ2 適応的接続性を持つ内在的にスパースなMLPをトレーニングすることで、小規模〜中規模のデータセットにおいて完全結合ネットワークよりも優れた汎化性能が得られるか？
• RQ3 接続の削除と再追加を伴う動的スパース接続性の進化が、どれほど暗黙の正則化として機能するか？
• RQ4 標準的なプルーニングやSETと比較して、NPSETはパラメータ効率性とモデル圧縮の面でどのように優れているか？
• RQ5 NPSETはモデルサイズと計算コストを削減しながら、完全結合MLPを上回るテスト精度を達成できるか？

主な発見

• NPSETは15のデータセットのうち8つでSETを上回るテスト精度を達成し、CLL-SUB-111データセットで最大+8.11%の向上を示した。
• gisetteデータセットでは、NPSETが97.64%の精度を達成し、SET（97.43%）および完全結合ベースライン（97.60%）を上回った。
• Yaleデータセットでは、完全結合MLPが100%の訓練精度（完全過学習）を示したが、NPSETとSETは一般化ギャップを維持しており、より高いロバストネスを示した。
• NPSETはSETに比べて6〜7倍高い圧縮率を達成し、データセット全体で平均して約50%のパラメータ削減を実現した。
• 学習曲線から、NPSETとSETは完全結合MLPと比較して、訓練精度とテスト精度のギャップが著しく小さいことが示され、より強い汎化性能を示した。
• ドロップアウトやL1/L2正則化などの明示的正則化を用いなくても、競争力のあるパフォーマンスを達成した。これは、構造的スパarsityと動的接続性の進化が、暗黙の正則化を提供していることを示唆している。