[論文レビュー] Extensions and Limitations of the Neural GPU

Eric Price, Wojciech Zaremba+1 more|arXiv (Cornell University)|Nov 2, 2016

Neural Networks and Applications参考文献 25被引用数 11

ひとこと要約

この論文は、より大きなモデルとカリキュラム学習を用いることで、Neural GPUのアルゴリズム的一般化を拡張し、任意長の入力に対して10進数の四則演算や複雑な式を解けるようにした。ランダムな入力に対しては強い一般化性能を示すが、高々対称的で構造的なケースでは失敗しており、真のアルゴリズムを学習できていない限界を露呈し、グローバルなデータ移動や敵対的失敗に耐えるようなアーキテクチャの改善が求められることを示唆している。

ABSTRACT

The Neural GPU is a recent model that can learn algorithms such as multi-digit binary addition and binary multiplication in a way that generalizes to inputs of arbitrary length. We show that there are two simple ways of improving the performance of the Neural GPU: by carefully designing a curriculum, and by increasing model size. The latter requires a memory efficient implementation, as a naive implementation of the Neural GPU is memory intensive. We find that these techniques increase the set of algorithmic problems that can be solved by the Neural GPU: we have been able to learn to perform all the arithmetic operations (and generalize to arbitrarily long numbers) when the arguments are given in the decimal representation (which, surprisingly, has not been possible before). We have also been able to train the Neural GPU to evaluate long arithmetic expressions with multiple operands that require respecting the precedence order of the operands, although these have succeeded only in their binary representation, and not with perfect accuracy. In addition, we gain insight into the Neural GPU by investigating its failure modes. We find that Neural GPUs that correctly generalize to arbitrarily long numbers still fail to compute the correct answer on highly-symmetric, atypical inputs: for example, a Neural GPU that achieves near-perfect generalization on decimal multiplication of up to 100-digit long numbers can fail on $000000\dots002 imes 000000\dots002$ while succeeding at $2 imes 2$. These failure modes are reminiscent of adversarial examples.

研究の動機と目的

• 訓練分布を超えたNeural GPUの一般化能力を調査すること。
• モデルサイズとカリキュラム設計が、アルゴリズム的タスクの学習に寄与するかどうかを調査すること。
• 特に構造的または対称的な入力における一般化の失敗モードを同定すること。
• グローバル操作のようなアーキテクチャの変更が性能向上に寄与するかどうかを評価すること。

提案手法

• 大規模なモデルの安定的訓練を実現するため、慎重に設計された訓練シーケンスを用いたカリキュラム学習を採用した。
• メモリ効率の良い実装を用いてモデルサイズを拡大し、より大きな受容 field と長いシーケンスを処理できるようにした。
• データレイアウトの影響をテストするため、パディングあり、パディングなし、アラインメント済みの入力表現を複数用いて訓練した。
• 2進数および10進数における加算、乗算、および複数被演算子式を含む四則演算タスクで性能を評価した。
• 長距離のデータ移動が性能に与える影響をテストするため、アテンション機構とグローバル操作を用いた。
• 対称的な入力における予測誤差の定性的および定量的分析を通じて、失敗事例を分析した。

実験結果

リサーチクエスチョン

• RQ1 より大きなモデルサイズとカリキュラム学習により、Neural GPUは任意長の10進数四則演算入力に対して一般化できるか？
• RQ2 ランダムな長い入力に対してはうまく一般化するモデルが、なぜ高々対称的で特異な入力では失敗するのか？
• RQ3 入力表現のアラインメントは、加算および乗算タスクの性能向上に寄与するか？
• RQ4 グローバル操作やアテンションといったアーキテクチャの追加が、アルゴリズム的タスクにおける一般化を向上させるか？
• RQ5 ランダムな入力に対しては高い精度を示すにもかかわらず、なぜNeural GPUは構造的な入力で失敗するのか？

主な発見

• Neural GPUは、以前には達成されていなかった任意長の10進数における基本的な四則演算（乗算を含む）を正しく実行する能力を習得した。
• カリキュラム学習を用いて訓練された大規模モデルは、より長い入力に対して一般化し、かつては解けなかったタスクにおいても性能が向上した。
• 000\dots002 \times 000\dots002 のような極めて対称的な入力では失敗したが、100桁のランダム入力に対しては完全な一般化を示した。
• 1111111111 \times 1111111111 のような入力では、1の個数が8個を超えると失敗し、繰り返しパターンの処理に困難を示した。
• 10^{180}-1 のようなケースで、正しい結果（999...999）ではなく多くの0が生成されるなど、桁上げ伝搬の論理的誤りが原因で誤った結果を出力した。
• 入力のアラインメントは加算タスクでは役立ったが、乗算タスクでは逆効果だった。これは、グローバルなデータ移動が一貫して有益ではなく、タスクの構造に依存することを示している。