[論文レビュー] Breaking the Activation Function Bottleneck through Adaptive Parameterization

Sebastian Flennerhag, Hujun Yin+2 more|arXiv (Cornell University)|May 22, 2018

Topic Modeling参考文献 47被引用数 8

ひとこと要約

本論文では、入力に応じたアフィン変換パラメータを学習することでニューラルネットワークの柔軟性を向上させる、適応的パラメータ化という手法を提案する。これにより活性化関数のボトルネックが解消され、パラメータ数を20–30%削減し、標準LSTMの半分以下の反復回数で収束する。Penn TreebankおよびWikiText-2において、最先端の結果を達成した。

ABSTRACT

Standard neural network architectures are non-linear only by virtue of a simple element-wise activation function, making them both brittle and excessively large. In this paper, we consider methods for making the feed-forward layer more flexible while preserving its basic structure. We develop simple drop-in replacements that learn to adapt their parameterization conditional on the input, thereby increasing statistical efficiency significantly. We present an adaptive LSTM that advances the state of the art for the Penn Treebank and WikiText-2 word-modeling tasks while using fewer parameters and converging in less than half as many iterations.

研究の動機と目的

• 大規模な入力範囲においてほとんど線形となる活性化関数が原因で生じる、標準ニューラルネットワークの脆さと非効率性を是正すること。
• 固定で非適応的な関数に制限された非線形性がもたらす「活性化関数ボトルネック」を克服し、モデル容量を制限せずに拡張すること。
• 統計的効率性を高めるための汎用的で学習可能かつ効率的な、フィードフォワード層の適応的パラメータ化手法を開発すること。
• RNNに適応的パラメータ化を拡張し、収束速度と一般化性能を向上させる適応的LSTMを構築すること。
• 適応的パラメータ化が、ハイパーパramータチューニングに対して感受性が低いより頑健なモデルをもたらすかどうかを検証すること。

提案手法

• 固定された重み行列を入力に応じた適応的パラメータに置き換える汎用的適応的フィードフォワード層を提案。入力に応じた変換を可能にするために、別個のネットワークを介してパラメータを学習する。
• 重み行列Wを入力xに条件づけたパrameterizationを用いて、入力依存のアフィン変換をモデル化。
• 2つの適応ポリシーを導入：出力適応（出力重みのみを適応）と入力出力適応（入力・出力重みの両方を適応）。後者は性能向上に寄与する。
• 再帰的適応モデル（RNNベース）を用いて適応的パラメータを生成し、系列モデルにおける文脈に配慮したパラメータ化を可能にする。
• RNNとハイパーネットワークの長所を融合したハイブリッドRNN-ハイパーネット（RHN）構造を採用し、より良い一般化性能を実現。
• 標準的なバックプロパゲーションを用いて、計算オーバーヘッドを最小限に抑えながら、モデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 適応的パラメータ化により、同等の性能を達成するために必要なパラメータ数を削減することで、フィードフォワードネットワークの統計的効率性が著しく向上するか？
• RQ2 入力に応じたアフィン変換を学習することで、活性化関数ボトルネックが解消され、固定された活性化関数が制限する範囲を超えてモデル容量が向上するか？
• RQ3 適応的パラメータ化は、特にLSTMに効果的に拡張可能か？系列モデルタスクにおける収束速度と一般化性能が向上するか？
• RQ4 ハイパーパramータの変動に対して、適応的LSTMは標準LSTMと比較してどれほど頑健か？
• RQ5 言語モデルタスクにおいて、適応的パラメータ化は、大規模なモデルサイズの必要性をどれほど低減するか？

主な発見

• Penn Treebankでは、適応的LSTMが1700万パラメータでテストパープレキシティ56.5まで低下させ、標準LSTMや他の最先端モデルを上回った。
• WikiText-2では、3200万パラメータでテストパープレキシティ64.5を達成し、3300万パラメータのawd-lstmや2400万パラメータのtg-sc-lstmを上回った。
• 適応的LSTMは、標準LSTMの半分以下の反復回数で収束し、より高速な学習ダイナミクスを示した。
• 適応的LSTMはハイパーパramータの変動に対して著しく頑健である：サンプルされた設定のうち0%が収束に失敗した。一方、標準LSTMでは25%の失敗率を示した。
• 適応的LSTMの性能分布の90百分位点が、標準LSTMの10百分位点に相当しており、より高い信頼性を示している。
• アブレーションスタディの結果、適応モデルの選択（例：再帰的 vs. フィードフォワード）および適応ポリシー（例：io-adaptation）が性能に顕著に寄与することが確認され、適応的パラメータ化の有効性が裏付けられた。