[論文レビュー] Differentiable Sparsification for Deep Neural Networks

Yognjin Lee|arXiv (Cornell University)|Oct 8, 2019

Advanced Neural Network Applications参考文献 39被引用数 5

ひとこと要約

この論文は、確率的勾配降下法を用いた正則化目的関数により、ネットワーク重みとスパarsity構造を同時に最適化する完全微分可能なスパース化手法を提案する。学習可能なアテンションマスクと微分可能な正規化を採用することで、最小限のアーキテクチャ変更でエンドツーエンドの学習が可能となり、モデル性能を維持または向上させつつ最先端のスパarsityを達成する。

ABSTRACT

Deep neural networks have significantly alleviated the burden of feature engineering, but comparable efforts are now required to determine effective architectures for these networks. Furthermore, as network sizes have become excessively large, a substantial amount of resources is invested in reducing their sizes. These challenges can be effectively addressed through the sparsification of over-complete models. In this study, we propose a fully differentiable sparsification method for deep neural networks, which can zero out unimportant parameters by directly optimizing a regularized objective function with stochastic gradient descent. Consequently, the proposed method can learn both the sparsified structure and weights of a network in an end-to-end manner. It can be directly applied to various modern deep neural networks and requires minimal modification to the training process. To the best of our knowledge, this is the first fully differentiable sparsification method.

研究の動機と目的

• 人為的介入を最小限に抑えた効率的な深層ニューラルネットワークアーキテクチャの設計という、ますます深刻化する課題に対処すること。
• 従来のプルーニング法や近接勾配法が手動での実装や閉形式解を必要とするという制限を克服すること。
• 完全微分可能なフレームワークにより、ネットワーク重みとスパarsityパターンの両方をエンドツーエンドで学習できること。
• 任意のノルム、特に凸でない$l_p$-ノルム（$p=0.5$を含む）を柔軟に使用でき、解析的近接作用素を必要としない正則化を可能とすること。
• 深層学習モデルへのスパース化のシームレスな統合を可能とし、トレーニングパイプラインへの最小限の変更で実現できること。

提案手法

• ネットワーク部品間の潜在的接続を表すために、学習可能なアテンションマスク$\tilde{A}_{i,j} = \exp(\alpha_{i,j})$を導入する。
• 反復的で微分可能なバランス正規化（Sinkhorn正規化の変種）を適用して、$\tilde{A}$を二重確率行列$A$に変換する。
• 行および列ベクトルの$A$に対して、$p=0.5$の$l_p$-ノルム正則化を適用し、グループ内での競合を促進する構造的スパarsityを誘導する。
• スパース化モジュールを損失関数に統合し、$\mathcal{L}(D,W,A) + \frac{\lambda}{2}\sum_{i=1}^{N}\left[\mathcal{R}(A_{i,:}) + \mathcal{R}(A_{:,i})\right]$とする。ここで$\mathcal{R}$は$l_p$-ノルムを表す。
• 自動微分を活用して、スパース化プロセス全体にバックプロパゲーションを適用し、手動による近接更新の必要性を排除する。
• グラフニューラルネットワークにこの手法をエンドツーエンドで適用し、道路ネットワークにおけるスパースで意味のある関係性の学習の有効性を示した。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルや閉形式の近接作用素を必要とせず、ネットワーク重みとスパarsity構造を同時に最適化できる完全微分可能なスパース化手法を設計できるか？
• RQ2 微分可能なスパース化に$l_p$-ノルム正則化（$p=0.5$）を適用した場合、従来の$l_1$または$l_{2,1}$正則化と比較して、構造的スパarsityをどのように効果的に誘導できるか？
• RQ3 提案手法は、交通ネットワークのような現実のグラフ構造データにおいて、意味的でスパースな構造的関係をどの程度効果的に学習できるか？
• RQ4 この手法は、アーキテクチャへの最小限の変更で、さまざまな深層ニューラルネットワークアーキテクチャに適用可能か？
• RQ5 微分可能な正規化（例：Sinkhornスタイル）を用いることで、安定的かつ解釈可能なスパarsityを支持する二重確率行列を信頼性高く生成できるか？

主な発見

• 提案手法は、交通速度予測において5.4957%の平均絶対誤差（MAPE）を達成し、ベースラインI（5.5160%）およびベースラインII（5.6343%）を上回ったが、非ゼロパラメータ数は著しく少なかった。
• モデルはわずか1,009個の非ゼロパラメータ（ベースラインIの878個、ベースラインIIの28,900個と比較）を学習し、性能を維持しながら高いスパarsityを達成した。
• 学習された隣接行列は、$k=1$の場合は88.62%、$k=2$の場合は91.39%の学習済み関係性（LR）スコアを達成し、実際の道路接続と強い整合性を示した。
• 真の接続情報に依存せずに、完全にスパースで意味のある関係性を学習できた。これは、完全な隣接行列を使用するベースラインよりも優れた性能を示した。
• $l_{0.5}$-ノルム正則化と微分可能な正規化の組み合わせにより、解析的解を必要とせず、効果的で構造的なスパarsityを実現できた。
• 数値実験により、バランス正規化が概ね二重確率行列を生成することが確認されたが、理論的裏付けは未解決のままである。