[論文レビュー] Transformed $\ell_1$ Regularization for Learning Sparse Deep Neural Networks

Rongrong Ma, Jianyu Miao+2 more|arXiv (Cornell University)|Jan 4, 2019

Sparse and Compressive Sensing Techniques参考文献 50被引用数 8

ひとこと要約

本論文は、グループスパarsityと非凸な変換された ℓ₁ 範数を組み合わせることで、深層ニューラルネットワークの接続とニューロンの両方におけるスパarsityを同時に誘導する統合的変換 ℓ₁ 正則化法を提案する。この手法は、ℓ₁ や SGL や CGES よりも高いテスト精度とより高いスパarsity（76.88％の接続スパarsity）を達成し、収束が早く、冗長性が低く鋭いフィルタを生成する。

ABSTRACT

Deep neural networks (DNNs) have achieved extraordinary success in numerous areas. However, to attain this success, DNNs often carry a large number of weight parameters, leading to heavy costs of memory and computation resources. Overfitting is also likely to happen in such network when the training data are insufficient. These shortcomings severely hinder the application of DNNs in resource-constrained platforms. In fact, many network weights are known to be redundant and can be removed from the network without much loss of performance. To this end, we introduce a new non-convex integrated transformed $\ell_1$ regularizer to promote sparsity for DNNs, which removes both redundant connections and unnecessary neurons simultaneously. To be specific, we apply the transformed $\ell_1$ to the matrix space of network weights and utilize it to remove redundant connections. Besides, group sparsity is also employed as an auxiliary to remove unnecessary neurons. An efficient stochastic proximal gradient algorithm is presented to solve the new model at the same time. To the best of our knowledge, this is the first work to utilize a non-convex regularizer in sparse optimization based method to promote sparsity for DNNs. Experiments on several public datasets demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 大規模なパラメータ数による深層ニューラルネットワーク（DNN）の高メモリおよび高計算コストを軽減すること。
• 手動でのプルーニング基準やトレーニング時のみのドロップアウトといった従来のスパarsity手法の限界を克服し、エンドツーエンドで微分可能なスパarsity誘導を可能にすること。
• 接続レベルとニューロンレベルの両方におけるスパarsityを同時に促進する統一された正則化フレームワークの構築。
• 凸でない正則化（特に変換 ℓ₁）を活用し、凸 ℓ₁ よりもスパarserでバイアスの少ないモデルを実現しつつ、トレーニングの安定性を維持すること。

提案手法

• グループスパarsityと変換 ℓ₁ 範数を統合した正則化子を提案し、ニューロンおよび接続レベルの両方におけるスパarsityを誘導する。
• 重み行列空間に変換 ℓ₁ 範数を適用し、接続間のスパarsityを促進する。パラメータ a が非凸性を制御する。
• グループスパarsityを用いて冗長なニューロン全体を同定・削除し、ネットワーク内の構造的情報を活用する。
• 新しい正則化子を用いた非凸最適化問題を効率的に解くための確率的近接勾配アルゴリズムを開発する。
• 二段階のスパarsity機構を採用：グループスパarsityでニューロンを削除し、変換 ℓ₁ で冗長な接続を削除する。
• 変換 ℓ₁ のパラメータ a を調整し、ℓ₀ に近いスパarsity（a が小さい場合）から ℓ₁ に近い挙動（a が大きい場合）へのバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 変換 ℓ₁ のような非凸正則化は、深層ニューラルネットワークにおけるスパarsity誘導において、凸 ℓ₁ よりも優れているか？
• RQ2 グループスパarsityと変換 ℓ₁ を統合的に正則化することで、個別に適用する手法よりも、冗長なニューロンと接続をより効果的に削除できるか？
• RQ3 同じスパarsityレベル下で、本手法は ℓ₁ や SGL や CGES よりも高いテスト精度とより速い収束を達成するか？
• RQ4 変換 ℓ₁ のパラメータ a の選択が、モデルの精度、FLOPs、パラメータ数にどのように影響するか？

主な発見

• 提案された統合的 Tℓ₁ 正則化子は、接続部で 76.88％ のスパarsityを達成し、グループスパarsity（51.60％）や Tℓ₁ 単体（ニューロン削除なし）よりも顕著に優れた性能を示した。
• a=10⁻² の場合、最も速い収束を達成し、1000イテレーション目でほぼ 0.95 のテスト精度を達成した。これは、ℓ₁ や SGL や CGES が同じ時点で 0.85 未満の精度にとどまったのと対照的であった。
• a=10⁻³ のネットワークは最高のテスト精度（0.95）を達成した一方、a=10⁻¹ では最も少ないパラメータ数を達成した。これは、精度とモデルサイズのトレードオフを示している。
• 可視化結果から、統合的 Tℓ₁ は、ℓ₁ や SGL が比較的密集したフィルタを残すのに対し、より鋭く冗長な空間的特徴が少ないフィルタを生成した。
• 本手法は12個のニューロンと76.88％の接続を効果的に削除し、構造的および接続レベルでの統合的スパarsityを実現した。
• FLOPs とパラメータ使用量は、a の値が 0.2〜0.3 の範囲で安定しており、一貫した効率性を示した。