[論文レビュー] IGLOO: Slicing the Features Space to Represent Sequences

Vsevolod Sourkov|arXiv (Cornell University)|Jul 9, 2018

Image Processing and 3D Reconstruction被引用数 4

ひとこと要約

IGLOOは、スタックされた1次元畳み込みの特徴マップから空間的にスライスされた非局所的なパッチ間の関係を分析することで、シーケンスを表現する画期的なニューラルネットワークアーキテクチャを導入する。長時間系列（最大20,000ステップ）において競争力ある性能を発揮し、Wikitext-2では変換器と同等のパープレキシティ（約20.5）を達成し、長大な非コーディングRNA分類タスクで98.46％のSOTA精度を樹立した。メモリ使用量の削減は、スパースなパッチベースのアテンションによるものである。

ABSTRACT

Historically, Recurrent neural networks (RNNs) and its variants such as LSTM and GRU and more recently Transformers have been the standard go-to components when processing sequential data with neural networks. One notable issue is the relative difficulty to deal with long sequences (i.e. more than 20,000 steps). We introduce IGLOO, a new neural network architecture which aims at being efficient for short sequences but also at being able to deal with long sequences. IGLOOs core idea is to use the relationships between non-local patches sliced out of the features maps of successively applied convolutions to build a representation for the sequence. We show that the model can deal with dependencies of more than 20,000 steps in a reasonable time frame. We stress test IGLOO on the copy-memory and addition tasks, as well as permuted MNIST (98.4%). For a larger task we apply this new structure to the Wikitext-2 dataset Merity et al. (2017b) and achieve a perplexity in line with baseline Transformers but lower than baseline AWD-LSTM. We also present how IGLOO is already used today in production for bioinformatics tasks.

研究の動機と目的

• 20,000ステップを超える長時間依存関係をモデル化する課題に取り組むこと。標準的なRNNや変換器では、計算およびメモリのボトルネックに直面する。
• O(L²)の複雑さを維持しつつ、長距離依存関係のモデリングを保ちながら、変換器の代替として軽量で効率的な手法を開発すること。
• 3,000ヌクレオチドを超えるシーケンスを扱う生物学的分野など、リソース制約のある分野におけるシーケンスモデルの実用的導入を可能にすること。
• 自己注意や再帰とは異なる、特徴マップ内の非局所的パッチ相関に基づく新しいインダクティブバイアスを検討すること。
• パッチ間のスパースで構造的な関係が、標準ベンチマークおよび実世界のタスクにおいて競争力ある性能をもたらすかどうかを実証すること。

提案手法

• IGLOO-baseは、入力シーケンスから特徴マップを抽出するために因果的1次元畳み込みを用い、その後、学習可能または確率的サンプリング戦略を用いて時間軸からp個の非局所的パッチを収集する。
• 各パッチは、特徴マップの連続するp時間ステップのセグメントであり、J個のパッチを並列処理して、Kが畳み込みフィルタ数であるJ × Kのコンact表現を形成する。
• パッチ選択は、現在の時間ステップを中心とするガウス分布に従い、可変な分散を調整することで局所的および非局所的コンテキストに焦点を当てる。
• IGLOO-seqは、変換器の自己注意機構をIGLOO-baseブロックに置き換える。同じアーキテクチャを維持するが、スパースなパッチ相互作用により計算複雑度を低減する。
• 2層の1次元畳み込み層（カーネルサイズ3、因果的パディング）をスタックし、その後パッチ収集とグローバル平均プーリングを実行して、シーケンスレベルの表現を生成する。
• パッチ数Jを制限することで、変換器のO(L²)アテンションとは異なり、シーケンス長Lにほぼ二次関数的以下にスケーリングするため、メモリ効率が向上する。

実験結果

リサーチクエスチョン

• RQ1 特徴マップ内の非局所的領域間のパッチベース相関機構は、シーケンスにおける長距離依存関係を効果的にモデル化できるか？
• RQ2 変換器に類似したアーキテクチャにおいて、自己注意をIGLOO-baseに置き換えることで、競争力ある性能を維持しながら、メモリおよび計算コストを削減できるか？
• RQ3 IGLOOは、3,000トークンを超えるシーケンスを扱う実世界の長時間シーケンスタスク（例：RNAシーケンス分類）にスケーリング可能か？
• RQ4 パッチ数Jが長時間シーケンスモデリングにおけるモデル性能およびメモリ効率に与える影響は何か？
• RQ5 パッチの位置が各時間ステップごとに確率的にサンプリングされるという条件下でも、IGLOOは確率的パッチサンプリングに対して頑健であるか？

主な発見

• IGLOO-seqは、Wikitext-2でテストパープレキシティ20.5を達成し、変換器と同等の性能を発揮しながらも、より少ないメモリを使用した。
• パッチ数（J=50およびJ=100）の変化に関わらず、パープレキシティのばらつきがわずか0.5にとどまり、ハイパーパrameter選択に対して頑健であることが示された。
• FEELncデータセットでは、IGLOO-baseが長大な非コーディングRNAのコードリングポテンシャル分類において98.46％のSOTA精度を達成し、先行するRNNおよび変換器ベースラインを上回った。
• モデルは20,000ステップに達するシーケンスの依存関係を効果的に捉えることができ、通常のRNNや変換器の限界を超えるスケーラビリティを示した。
• 3,000長さのRNAシーケンスにおいてJ=600のパッチを使用した場合、J << Lであるにもかかわらず高い性能を発揮した。これは、実世界の生物学情報学アプリケーションにおける効率性の向上を裏付けた。
• 確率的パッチサンプリングの下でも、予測のばらつきが小さく、最適化および一般化の安定性が示された。