[論文レビュー] Low-rank passthrough neural networks

Antonio Valerio Miceli Barone|arXiv (Cornell University)|Mar 10, 2016

Neural Networks and Applications参考文献 39被引用数 6

ひとこと要約

本稿では、LSTM や GRU などのパススルーニューラルネットワークに対して、低ランクおよび低ランク＋対角行列のパrametrizationを提案する。これにより、パラメータ数と状態サイズを分離し、メモリとデータの複雑さを削減しながらも、メモリ容量を維持できる。順序がランダムに並べ替えられた MNIST において、ほぼ最先端の結果を達成しており、性能を損なわずに顕著なパラメータ効率性を実現している。

ABSTRACT

Various common deep learning architectures, such as LSTMs, GRUs, Resnets and Highway Networks, employ state passthrough connections that support training with high feed-forward depth or recurrence over many time steps. These "Passthrough Networks" architectures also enable the decoupling of the network state size from the number of parameters of the network, a possibility has been studied by ewcite{Sak2014} with their low-rank parametrization of the LSTM. In this work we extend this line of research, proposing effective, low-rank and low-rank plus diagonal matrix parametrizations for Passthrough Networks which exploit this decoupling property, reducing the data complexity and memory requirements of the network while preserving its memory capacity. This is particularly beneficial in low-resource settings as it supports expressive models with a compact parametrization less susceptible to overfitting. We present competitive experimental results on several tasks, including language modeling and a near state of the art result on sequential randomly-permuted MNIST classification, a hard task on natural data.

研究の動機と目的

• 深層ニューラルネットワークにおけるモデル容量とパラメータ数のトレードオフを解消すること。
• LSTM や GRU のようなアーキテクチャにおける状態のパススルー機構を活用し、状態サイズとトレーニング可能なパラメータ数を分離すること。
• 特に低ランクおよび低ランク＋対角行列の行列分解を用いた、低次元のパラメータ化手法を、隠れ層変換に開発すること。
• 提案手法を、並べ替えられた MNIST や文字レベルの言語モデリングを含む系列モデルタスクに適用し、パラメータ効率性と性能の両面で評価すること。
• 適切に構造化された低パラメータ化が、メモリ容量や予測性能を損なわないことを実証すること。

提案手法

• 本稿では、GRU および LSTM レイヤーの再帰的重み行列に低ランク行列分解を適用し、パラメータ数を O(n²) から O(rn) に削減する。ここで r はランクを表す。
• 低ランク＋対角行列パラメータ化を導入し、変換行列を低ランク行列と対角行列の和に分解することで、少ないパラメータ数でより表現力の高い表現を可能にする。
• 状態のパススルー機構を維持することで、隠れ状態が層をほとんど変化させずに流れ込むため、消失勾配問題の緩和に寄与する。
• 本手法は GRU および LSTM アーキテクチャの両方に適用され、パラメータ行列の結合／非結合の違いやランク・状態サイズの変動に関するアブレーションスタディが実施されている。
• 実験では、並べ替えられた MNIST や文字レベルの言語モデリングといった標準的なベンチマークが用いられ、訓練および評価プロトコルは先行する最先端手法と整合している。
• 特に低パラメータ領域における一般化性能の向上を図るため、ベイジアン再帰的ドロップアウトを正則化に適用している。

実験結果

リサーチクエスチョン

• RQ1 低ランクパラメータ化は、パラメータ数を著しく削減しながらも、深層系列モデルで高い性能を維持できるか？
• RQ2 低ランク＋対角行列分解は、標準的な低ランクまたはフルランク行列と比較して、再帰的ネットワークに対してより優れたインダクティブバイアスを提供するか？
• RQ3 構造的な行列分解によりパラメータ数を削減した場合、ネットワークのメモリ容量をどの程度維持できるか？
• RQ4 ハイウェイネットワークや ResNet といった既存のパラメータ効率的アーキテクチャと比較して、本手法は精度と効率性の面で優れているか？
• RQ5 ランダムに並べ替えられた MNIST といった挑戦的なタスクにおいて、標準モデルと比べてパラメータ数が桁違いに少ない状態でも、競争力のある結果を達成できるか？

主な発見

• 254万パラメータの低ランク＋対角行列 GRU は、文字レベルの言語モデリングでテストパープレキシティ2.76を達成し、同程度のパラメータ数を持つより大きなベースラインを上回った。
• 低ランク＋対角行列 GRU の結合バージョンは、254万パラメータでパープレキシティ2.76を達成し、メモリ容量効率の向上を示した。
• 順序がランダムに並べ替えられた MNIST タスクにおいて、本手法はほぼ最先端の結果を達成しており、難易度の高い非マルコフ的系列データにおける優れた一般化能力を示した。
• ボトルネック比が100:1を超える（状態サイズ／ランク）モデルでも強力な性能を発揮したため、低ランクパラメータ化が有効な表現能力を維持できることを示唆している。
• 標準的な低ランクおよびフルランクベースラインと比較して、低ランク＋対角行列パラメータ化は特に低パラメータ領域で優れた性能を示し、パラメータ効率学習における有効性を裏付けた。
• 顕著に少ないパラメータ数（例：0.46M 対 3.11M）でも、低ランク GRU はベースラインのパープレキシティ2.92と同等の性能を達成しており、パラメータ数の削減が性能損なわずに可能であることを示した。