[論文レビュー] Improving the Neural GPU Architecture for Algorithm Learning

Kārlis Freivalds, Renārs Liepiņš|arXiv (Cornell University)|Feb 28, 2017

Neural Networks and Applications参考文献 23被引用数 26

ひとこと要約

この論文は、飽和コストと対角ゲーティングを用いてハードな非線形性を導入することで、Neural GPUアーキテクチャを改善し、より高速な学習と長時間のシーケンスへの頑健な一般化を実現した。強化されたモデルは、2進数の桁符号化を介して、100倍の長さの入力に対して1%未塔の誤差で一般化する、端から端までの小数乗算の学習に成功した。これは、このフレームワーク内で小数乗算の端から端までの学習が初めて成功した事例である。

ABSTRACT

Algorithm learning is a core problem in artificial intelligence with significant implications on automation level that can be achieved by machines. Recently deep learning methods are emerging for synthesizing an algorithm from its input-output examples, the most successful being the Neural GPU, capable of learning multiplication. We present several improvements to the Neural GPU that substantially reduces training time and improves generalization. We introduce a new technique - hard nonlinearities with saturation costs- that has general applicability. We also introduce a technique of diagonal gates that can be applied to active-memory models. The proposed architecture is the first capable of learning decimal multiplication end-to-end.

研究の動機と目的

• 元のNeural GPUがアルゴリズム学習において一般化が悪く、学習が遅いという問題に取り組む。
• 元のアーキテクチャが達成できなかった、小数乗算の端から端までの学習を可能にする。
• アーキテクチャ的・最適化的改善を通じて、学習速度とモデル安定性を向上させる。
• 任意の長さの入力シーケンスへの頑健な一般化を可能にする主要要因を同定する。
• モデルアーキテクチャを単純化しつつ、アルゴリズム学習タスクにおける性能を維持または向上させる。

提案手法

• 飽和コストを伴うハードな非線形性を導入し、学習の安定化と一般化の向上を図る。
• アクティブメモリモデルにおけるメモリアクセス効率を向上させるために、対角ゲーティングを実装する。
• パラメータ共有の緩和を直接的なパラメータ共有に置き換えることで、アーキテクチャを単純化する。
• AdaMax最適化法を用い、より大きな学習率を設定するとともに、勾配クリッピングを統合して収束性を向上させる。
• 複数の入力長さを同時に学習することで、一般化能力を向上させる。
• 小数の桁を4ビットの2進形式で符号化し、小数乗算における端から端までの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム学習におけるNeural GPUの高速化とより良い一般化を実現するためのアーキテクチャ的変更は何か？
• RQ2 同じ訓練設定であっても、一部のモデルは長時間シーケンスに一般化できるが、他のモデルは失敗する理由は何か？
• RQ3 Neural GPUは小数乗算を端から端まで学習できるか？ もしそうなら、どのような入力符号化条件下で可能か？
• RQ4 飽和コストを伴うハードな非線形性は、ソフトな非線形性と比較して、一般化性能と学習安定性においてどのように異なるか？
• RQ5 対角ゲーティング機構は、学習ダイナミクスとモデル性能の向上にどのような役割を果たすか？

主な発見

• モデルは800ステップの訓練で2進乗算を学習した。これは元のNeural GPUが要した30,000ステップと比較して97%の短縮である。
• すべての訓練済みモデルが、学習例よりも100倍長い入力に対して1%未塔の誤差で一般化した。
• 桁が4ビットの2進形式で符号化された場合、モデルは小数乗算を端から端まで正しく学習した。
• 小数乗算を学習した5つのモデルのうち、2つが50桁の入力に対して1%未塔の誤差で一般化した。
• 飽和コストを伴うハードな非線形性が、良好な一般化を達成する上で最も重要な要因であり、ソフト非線形性やコストなしのハード非線形性を上回った。
• 対角ゲートが欠落していると、学習が遅く、より不安定になることが確認され、アーキテクチャ内での重要性が裏付けられた。