[論文レビュー] Auto-Sizing Neural Networks: With Applications to n-gram Language Models

Kenton Murray, David Chiang|arXiv (Cornell University)|Aug 20, 2015

Topic Modeling参考文献 19被引用数 16

ひとこと要約

この論文は、トレーニング中に不要な隠れユニットを自動的にプルーニングするためのオートサイズ手法を提案している。∞,1および2,1正則化を用いることで、グループスパarsityを促進し、全ユニットを無効化させる。この手法により、最小限のパープレキシティ損失で、一貫した機械翻訳性能向上を伴う、コンactで高性能な言語モデルが得られる。さまざまな設定において、1つの正則化ハイパーパrameterで実現可能である。

ABSTRACT

Neural networks have been shown to improve performance across a range of natural-language tasks. However, designing and training them can be complicated. Frequently, researchers resort to repeated experimentation to pick optimal settings. In this paper, we address the issue of choosing the correct number of units in hidden layers. We introduce a method for automatically adjusting network size by pruning out hidden units through $\ell_{\infty,1}$ and $\ell_{2,1}$ regularization. We apply this method to language modeling and demonstrate its ability to correctly choose the number of hidden units while maintaining perplexity. We also include these models in a machine translation decoder and show that these smaller neural models maintain the significant improvements of their unpruned versions.

研究の動機と目的

• ニューラルネットワークの隠れ層サイズを手動でチューニングする課題に対処すること。これは時間と手間がかかり、誤りの原因にもなる。
• トレーニング中に最適なネットワークサイズを自動的に特定する手法を開発すること。これにより、膨大なグリッドサーチの必要性がなくなる。
• モデルの複雑さと推論コストを低減しながら、言語モデリングおよび機械翻訳の性能を維持すること。
• 正則化駆動のプルーニングが、精度を損なわず、より小型で効率的なモデルを生成できることを示すこと。

提案手法

• 目的関数に∞,1および2,1正則化を適用し、全隠れユニットが無効化されるよう促進する。これにより、すべての入力重みがゼロに近づく。
• 各ユニットごとの重みグループに作用する凸正則化子を用い、個々のパラメータではなくユニットレベルでのスパarsityを促進する。
• 初期段階で過剰に大きなアーキテクチャでネットワークをトレーニングし、トレーニング後、非活性ユニットをプルーニングすることで、コンパクトで最適化されたモデルを得る。
• 確率的勾配降下法を用いて正則化された損失関数を最小化し、プルーニングをトレーニングプロセスに統合する。
• ReLU や tanh などの活性化関数を用い、すべての入力がゼロの場合に出力がゼロになるため、プルーニングされたユニットを安全に削除可能である。
• さまざまなネットワークサイズ、語彙サイズ、n-gram順序、トレーニングデータサイズにおいて、1つの正則化係数（λ = 0.1）を調整する。

実験結果

リサーチクエスチョン

• RQ1 正則化ベースのプルーニングは、手動チューニングなしで、ニューラルネットワークにおける最適な隠れユニット数を自動的に特定できるか？
• RQ2 ∞,1および2,1ノルムの使用は、ユニットレベルでのグループスパarsityを効果的に誘発するのか？ これにより、余分なニューロンを明確に削除可能か？
• RQ3 サイズが小さくなったにもかかわらず、言語モデリングタスクにおけるパープレキシティが低く保たれるか？
• RQ4 1つのハイパーパramータ設定で、さまざまなデータサイズ、語彙サイズ、n-gram順序に一般化可能か？
• RQ5 自動サイズ調整されたニューラル言語モデルをデコーダーに統合した場合、機械翻訳性能が向上するか？

主な発見

• 不要な隠れユニットが効果的にプルーニングされ、パープレキシティ損失が最小限に抑えられた小型モデルが得られた。非正則化モデルと比較して、わずかに増加するにとどまる。
• 1つの正則化係数（λ = 0.1）が、さまざまな構成（語彙サイズ、トレーニングデータサイズ、n-gram順序）で一貫した性能を達成した。
• 自動サイズ調整モデルは、完全なモデルとほぼ同等のパープレキシティを維持しており、わずかに統計的に有意な増加にとどまる。
• 機械翻訳デコーダーに統合した場合、プルーニング済みモデルは大きなBLEUポイントの向上を示し、完全なサイズのモデルと同等の効果を発揮した。
• 層サイズのハイパーパramータチューニングに代えて、1つの正則化パrameterに置き換えることで、高価な多次元グリッドサーチの必要性が削減された。
• 重み行列の可視化により、明確に全行（ユニット）がゼロに収束していることが確認され、ユニットレベルでのプルーニングが有効に行われたことが裏付けられた。