[論文レビュー] HyperNetworks

David Ha, Andrew Dai+1 more|arXiv (Cornell University)|Sep 27, 2016

Machine Learning and Data Classification被引用数 86

ひとこと要約

この論文は、エンド・ツー・エンドのバックプロパゲーションにより、別のネットワーク（メインネットワーク）の重みを生成するハイパーネットワークス——ニューラルネットワークの一種——を導入している。このアプローチにより、LSTMにおける動的で共有されない重みの適応が可能となり、文字レベルの言語モデリング、筆跡生成、ニューラル機械翻訳の分野で、標準モデルよりも少ない学習可能なパラメータ数で準最先端の結果を達成している。

ABSTRACT

This work explores hypernetworks: an approach of using a one network, also known as a hypernetwork, to generate the weights for another network. Hypernetworks provide an abstraction that is similar to what is found in nature: the relationship between a genotype - the hypernetwork - and a phenotype - the main network. Though they are also reminiscent of HyperNEAT in evolution, our hypernetworks are trained end-to-end with backpropagation and thus are usually faster. The focus of this work is to make hypernetworks useful for deep convolutional networks and long recurrent networks, where hypernetworks can be viewed as relaxed form of weight-sharing across layers. Our main result is that hypernetworks can generate non-shared weights for LSTM and achieve near state-of-the-art results on a variety of sequence modelling tasks including character-level language modelling, handwriting generation and neural machine translation, challenging the weight-sharing paradigm for recurrent networks. Our results also show that hypernetworks applied to convolutional networks still achieve respectable results for image recognition tasks compared to state-of-the-art baseline models while requiring fewer learnable parameters.

研究の動機と目的

• 再帰的および畳み込みネットワークに対して、軽量なハイパーネットワークスを用いて非共有で動的重みを生成する手法を開発すること。
• バックプロパゲーションによるエンド・ツー・エンドのハイパーネットワークスの訓練を可能にし、進化的アプローチに比べて効率を向上させること。
• 言語モデリング、筆跡生成、ニューラル機械翻訳を含む系列モデリングタスクにおけるハイパーネットワークスの評価を行うこと。
• ハイパーネットワークスが、パラメータ数を削減しながらも最先端モデルを上回るか同等の性能を発揮することを示すこと。
• ハイパーネットワークスとバッチ正規化や層正規化などの正規化技術との相互作用を調査すること。

提案手法

• ハイパーネットワークスは、レイヤー構造を表す学習済み埋め込みベクトルに基づいて、メインネットワークの重み行列を生成するように訓練される。
• ハイパーネットワークスは、固定または動的に生成された入力埋め込みを受け取り、メインネットワークのレイヤーの重みを出力する。これにより、再帰的ネットワークにおける時間に依存する重みの適応が可能になる。
• システム全体がバックプロパゲーションを用いてエンド・ツー・エンドで訓練され、メインネットワークおよびハイパーネットワークスの両方に勾配が伝搬される。
• 再帰的ネットワークでは、ハイパーネットワークスが時間的に変化する重みの調整を生成し、メインLSTMが推論中にパラメータを適応的に変更できるようにする。
• この手法は、CNN向けの静的重み生成とLSTM向けの動的重み生成の両方をサポートしており、レイヤー間で重みを共有するか非共有するかを選べる。
• バッチ正規化や層正規化などの正規化技術と互換性があるが、一部の設定では層正規化が性能に悪影響を及けることが判明した。

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットワークスは、標準的な重み共有LSTMよりも性能を向上させる非共有で動的重みをLSTMが生成できるか？
• RQ2 言語モデリングや機械翻訳などの系列モデリングタスクにおいて、ハイパーネットワークスの性能は最先端モデルと比べてどうか？
• RQ3 ハイパーネットワークスは、パラメータ数を削減しながらも、モデルの正確性を維持または向上させることができるか？
• RQ4 ハイパーネットワークスは、再帰的モデルにおける層正規化などの正規化技術とどれほどうまく統合できるか？
• RQ5 ハイパーネットワークスは、筆跡生成において複雑で時間的に変化する重みの調整を効果的にモデル化できるか？

主な発見

• WMT En→Frで、HyperLSTMはテストBLEUスコア40.03を達成し、標準GNMTモデル（38.95）を上回り、8つのLSTMのアンサンブル（40.35）に近い性能を示した。
• Character Penn Treebankデータセットでは、HyperLSTMは1.027のログ周辺度を達成し、最先端モデルと同等の性能を示した。
• IAM筆跡データセットでは、HyperLSTMは-1162ナツのログ損失を示し、標準LSTM（-1055）および層正規化LSTM（-1096）を上回った。
• CIFAR-10画像分類タスクでは、ハイパーネットワークスが深層CNNの重みを生成し、ベースラインモデルよりもはるかに少ない学習可能なパラメータ数で妥当な精度を達成した。
• ハイパーネットワークスの重み適応は、特に単語や文字の間で離散的な段階的変化を示しており、滑らかでない、文脈に依存する調整であることが判明した。
• 標準LSTMでは層正規化が有益であるが、HyperLSTMではその効果が得られず、最も性能の高かったHyperLSTMモデルは正規化を一切使用しなかった。