[論文レビュー] Sparsity Normalization: Stabilizing the Expected Outputs of Deep Networks.

Joonyoung Yi, Juhyuk Lee+2 more|arXiv (Cornell University)|Jun 1, 2019

Domain Adaptation and Few-Shot Learning被引用数 2

ひとこと要約

本論文では、欠損値や入力分布のばらつきによって引き起こされるインスタンスレベルのスパarsity不均一性に対処することで、深層ネットワークの出力を安定化するためのスパarsity正規化（SN）を導入する。スパarsityに配慮した統計に基づいて活性化を正規化することで、非線形関数の飽和を軽減し、訓練の安定性を向上させ、最小限のアーキテクチャ変更でMovielens 100kおよび1Mデータセットで最先端の結果を達成する。

ABSTRACT

The learning of deep models, in which a numerous of parameters are superimposed, is known to be a fairly sensitive process and should be carefully done through a combination of several techniques that can help to stabilize it. We introduce an additional challenge that has never been explicitly studied: the heterogeneity of sparsity at the instance level due to missing values or the innate nature of the input distribution. We confirm experimentally on the widely used benchmark datasets that this variable sparsity problem makes the output statistics of neurons unstable and makes the learning process more difficult by saturating non-linearities. We also provide the analysis of this phenomenon, and based on our analysis, we present a simple technique to prevent this issue, referred to as Sparsity Normalization (SN). Finally, we show that the performance can be significantly improved with SN on certain popular benchmark datasets, or that similar performance can be achieved with lower capacity. Especially focusing on the collaborative filtering problem where the variable sparsity issue has been completely ignored, we achieve new state-of-the-art results on Movielens 100k and 1M datasets, by simply applying Sparsity Normalization (SN).

研究の動機と目的

• 欠損入力やデータ分布の特性による変動するインスタンスレベルのスパarsityが引き起こす深層ネットワーク出力の不安定性を解消すること。
• スパarsity不均一性が活性化統計および訓練ダイナミクスに与える悪影響を特定・分析すること。
• さまざまなスパarsityレベル下でもニューロン出力を安定化させる、シンプルかつ効果的な正規化手法を提案すること。
• SNがベンチマークデータセット、特にスパarsityがしばしば無視されがちな協調フィルタリングタスクでモデル性能を向上させることを実証すること。

提案手法

• スパarsity正規化（SN）は、各入力サンプルの非ゼロ要素数に基づいて、インスタンス固有の正規化統計を計算する。
• 各バッチにおいて、SNは非ゼロ要素のみを対象に計算された平均と標準偏差を用いて、各ニューロンの活性化を正規化する。
• 正規化は各サンプルごとに適用され、各入力のスパarsityレベルが活性化スケーリングに明示的に反映される。
• この手法は軽量であり、標準的なディープラーニングフレームワークと互換性があり、既存アーキテクチャへの修正が最小限で済む。
• SNは非線形活性化関数の前に入力され、極端なスパarsityが原因で生じる飽和を防ぐ。
• SNは、協調フィルタリングを目的としたMovielensを含む複数のベンチマークデータセットで実証的に検証されている。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルのスパarsity不均一性は、深層ネットワークの活性化および訓練ダイナミクスにどのように影響を与えるか？
• RQ2 スパarsityに起因する不安定性は、標準ベンチマークデータセットにおけるモデル性能をどの程度劣化させるか？
• RQ3 スパarsityを考慮したシンプルな正規化手法が、訓練の安定性および最終的な性能を向上させられるか？
• RQ4 スパarsity正規化（SN）は、最小限のアーキテクチャ変更で協調フィルタリングタスクにおいて最先端の結果を達成できるか？
• RQ5 スパarsity正規化を用いることで、低容量モデルでも同等の性能を達成できるか？

主な発見

• スパarsity正規化（SN）は、Movielens 100kおよび1Mデータセットで顕著にモデル性能を向上させ、新たな最先端の結果を達成した。
• SNは、特に協調フィルタリング設定において、スパarsity不均一性に起因する活性化分散の低減により、ニューロン出力を安定化させた。
• SNにより、低容量モデルでもより大きなモデルと同等の性能を達成できるようになった。これは、より高いデータ効率を示している。
• この手法は、スパースな入力によって引き起こされる非線形関数の飽和を効果的に軽減し、より安定的かつ効率的な訓練を可能にした。
• 実験的結果から、スパarsity不均一性は、特にレコメンデーションシステムにおいて過去に無視されがちだが、深層学習の安定性において極めて重要な要因であることが確認された。