[論文レビュー] DropNeuron: Simplifying the Structure of Deep Neural Networks

Wei Pan, Hao Dong+1 more|arXiv (Cornell University)|Jun 23, 2016

Anomaly Detection Techniques and Applications参考文献 14被引用数 25

ひとこと要約

この論文では、入力および出力接続を標的とする専用の正則化子を用いて、学習中に完全にニューロンを削除することで深層ニューラルネットワークを単純化する、新しい正則化手法であるDropNeuronを紹介する。この手法は、性能にほとんど損なわれることなく、LeNet-5の全結合層で最大67%の圧縮を達成し、精度を落とさずにニューロン削減においてベースライン手法を上回る。

ABSTRACT

Deep learning using multi-layer neural networks (NNs) architecture manifests superb power in modern machine learning systems. The trained Deep Neural Networks (DNNs) are typically large. The question we would like to address is whether it is possible to simplify the NN during training process to achieve a reasonable performance within an acceptable computational time. We presented a novel approach of optimising a deep neural network through regularisation of net- work architecture. We proposed regularisers which support a simple mechanism of dropping neurons during a network training process. The method supports the construction of a simpler deep neural networks with compatible performance with its simplified version. As a proof of concept, we evaluate the proposed method with examples including sparse linear regression, deep autoencoder and convolutional neural network. The valuations demonstrate excellent performance. The code for this work can be found in http://www.github.com/panweihit/DropNeuron

研究の動機と目的

• 計算およびストレージの点で非効率である大規模で過パrameter化された深層ニューラルネットワーク（DNN）の問題に対処すること。
• 学習中に恒久的にニューロンを削除することで、性能にほぼ差がなく、より単純で小さなネットワークを構築できるかどうかを検討すること。
• 全ニューロンの削除により構造的スパarsityを実現する正則化メカニズムを構築すること。
• スパース回帰、オートエンコーダー、畳み込みネットワークを含む多様なタスクにおいてこの手法を評価すること。
• ニューロンの削減が、標準的なプルーニングやドロップアウトベースの手法よりも高い圧縮率を達成するかどうかを実証すること。

提案手法

• グループラッソに基づく2つの新しい正則化子を提案し、ニューロンのすべての入力および出力重みを同時にペナルティ化することで、それらがゼロに収束するよう促進する。
• 重み行列の行（入力）および列（出力）全体にℓ2ノルム正則化を適用することで、ニューロンレベルのスパarsityを誘導する。
• エンドツーエンドの学習中に正則化子を適用し、関連するすべての重みがゼロになった場合にニューロンを恒久的に削除可能にする。
• 最小ネットワーク構造問題の非可解性を克服するため、凸緩和を活用する。
• ネットワークアーキテクチャや推論の変更なしに、標準的な学習パイプラインに正則化子を統合する。
• 学習後、不活性化されたニューロンを特定・削除するためのしきい値処理機構を採用し、圧縮され、単純化されたネットワークを生成する。

実験結果

リサーチクエスチョン

• RQ1 学習中に恒久的に全ニューロンを削除することで、深層ニューラルネットワークが自動的にそのアーキテクチャを単純化できるか？
• RQ2 構造的正則化によるニューロンの削減は、従来のプルーニングやドロップアウトベースの手法よりも高い圧縮率を達成できるか？
• RQ3 ニューロン数を減らした簡素化されたネットワークは、教師ありおよび教師なしタスクにおいて、フルサイズのネットワークと同等の性能を維持できるか？
• RQ4 ℓ1正則化やドロップアウトといった既存手法と比較して、提案手法の正則化はスパarsityと精度の点でどのように差をつけるか？
• RQ5 畳み込み層や全結合層のような異なるネットワークアーキテクチャに、ニューロンの削減はどの程度適用可能か？

主な発見

• DropNeuronは、LeNet-5の全結合層で67.04%の圧縮率を達成し、DO+P（1.81）やℓ1+DO+P（17.95）といったベースライン手法を著しく上回った。
• FC1およびFC2における有効ニューロン数は、それぞれ28.92%および21.48%にまで減少したが、ℓ1+DO+Pでは33.13%および62.5%に留まった。
• MNIST分類タスクにおいて、DropNeuronは圧縮モデルで99.07%のテスト精度を達成し、フルモデルや他の正則化ベースラインと同等またはわずかに優れた性能を示した。
• オートエンコーダー実験では、DropNeuronはドロップアウトにℓ1正則化を組み合わせた手法よりも低いNMSEを達成した一方で、はるかに多くのニューロンを削除した。
• スパース線形回帰、オートエンコーディング、畳み込みニューラルネットワークを含む複数のタスクにおいて一貫した性能を示し、強靭性と一般化能力を確認した。
• 畳み込みフィルタ内のニューロンをプルーニングしていないにもかかわらず、全結合層で60%を超える圧縮率を達成した。これは、パラメータが多くなる部分において特に効果的であることを示している。