[論文レビュー] IGLOO: Slicing the Features Space to Represent Long Sequences.

Vsevolod Sourkov|arXiv (Cornell University)|Jul 9, 2018

Topic Modeling参考文献 29被引用数 3

ひとこと要約

IGLOOは、スタックされた畳み込みから特徴マップをスライスすることで、系列内の長距離依存関係をモデル化する画期的なニューラルネットワークアーキテクチャであり、20,000ステップを超える系列の処理を効率的に行える。コピー・メモリ、加算、並び替えられたMNIST（98.4%）、Wikitext-2などの長系列タスクにおいて、競争力ある性能を達成し、Transformerの perplexity をmatchingしながら、AWD-LSTMを上回っている。

ABSTRACT

Historically, Recurrent neural networks (RNNs) and its variants such as LSTM and GRU and more recently Transformers have been the standard go-to components when processing sequential data with neural networks. One notable issue is the relative difficulty to deal with long sequences (i.e. more than 20,000 steps). We introduce IGLOO, a new neural network architecture which aims at being efficient for short sequences but also at being able to deal with long sequences. IGLOOs core idea is to use the relationships between non-local patches sliced out of the features maps of successively applied convolutions to build a representation for the sequence. We show that the model can deal with dependencies of more than 20,000 steps in a reasonable time frame. We stress test IGLOO on the copy-memory and addition tasks, as well as permuted MNIST (98.4%). For a larger task we apply this new structure to the Wikitext-2 dataset Merity et al. (2017b) and achieve a perplexity in line with baseline Transformers but lower than baseline AWD-LSTM. We also present how IGLOO is already used today in production for bioinformatics tasks.

研究の動機と目的

• 20,000ステップを超える長系列のモデリングに課題を提起する。
• RNN、LSTM、GRU、Transformerが非常に長い系列を効率的に処理できないという制限を克服する。
• 短い系列でも効率を維持しながら、長い系列にスケーリングできるモデルを開発する。
• バイオインフォマティクスなど、長コンテキスト理解を要する実世界の応用分野での実用的導入を可能にする。

提案手法

• 連続して適用された畳み込みによって生成された特徴マップから非局所的なパッチをスライスし、空間的および時間的関係を抽出する。
• これらの非局所的パッチ間の関係を活用して、系列のグローバルな表現を構築する。
• 畳み込みによる特徴抽出を活用して局所パターンを保持すると同時に、パッチ間の関係性によって長距離モデリングを可能にする。
• 自己注意の2次関数的複雑性を回避するため、短い系列および長い系列の両方に対して計算的に効率的なアーキテクチャを設計する。
• フィードフォワードまたはハイブリッドアーキテクチャに特徴スライシング機構を統合し、速度とスケーラビリティを維持する。
• 交差エントロピー損失などの標準的な目的関数を用いて、系列モデリングベンチマーク上でエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みベースのアーキテクチャは、20,000ステップを超える系列の依存関係を効果的にモデル化できるか？
• RQ2 IGLOOの特徴スライシング機構は、自己注意メカニズムと比較して、長距離依存関係のモデリングにおいてどのように異なるか？
• RQ3 IGLOOは、長い系列にスケーリングする一方で、短い系列の性能をどの程度維持できるか？
• RQ4 IGLOOは、自己注意に依存せずに、Wikitext-2 や並び替えられたMNISTといった標準ベンチマークで競争力ある結果を達成できるか？
• RQ5 IGLOOは、バイオインフォマティクス分野のように長コンテキストモデリングを要する分野で、実際のプロダクション用途に適しているか？

主な発見

• IGLOOは、20,000ステップを超える系列を合理的な時間内にモデル化でき、通常のRNNやTransformerの限界を超えたスケーラビリティを示した。
• 並び替えられたMNISTタスクにおいて、IGLOOは98.4%のテスト精度を達成し、系列ベースの画像認識において優れた性能を示した。
• Wikitext-2ベンチマークにおいて、IGLOOはTransformerベースラインと同等の perplexity を達成し、競争力のある言語モデリング性能を確認した。
• Wikitext-2においてIGLOOはAWD-LSTMベースラインよりも低い perplexity を達成し、より優れたモデリング能力を示した。
• IGLOOは、バイオインフォマティクスの応用分野ですでにプロダクション環境に導入されており、実用的価値とスケーラビリティが裏付けられた。