[論文レビュー] Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems

Colin Raffel, Daniel P. W. Ellis|arXiv (Cornell University)|Dec 29, 2015

Neural Networks and Applications参考文献 30被引用数 273

ひとこと要約

この論文では、簡素化されたアテンション機構を備えたフィードフォワードニューラルネットワークを提案し、並列計算が可能で、最大10,000トークンの長さのシーケンスに対して加算や乗算といった長期記憶タスクを効率的に解けるようにしている。モデルは可変長シーケンスにおいてもほぼ完璧な正確性（加算で99.9%、乗算で99.4%）を達成し、標準的なRNNや重みなし平均化よりも優れている。これは、フィードフォワードネットワークにおけるアテンションが再帰的でないにもかかわらず、長距離依存関係を効果的に捉えることができることを示している。

ABSTRACT

We propose a simplified model of attention which is applicable to feed-forward neural networks and demonstrate that the resulting model can solve the synthetic "addition" and "multiplication" long-term memory problems for sequence lengths which are both longer and more widely varying than the best published results for these tasks.

研究の動機と目的

• フィードフォワードネットワークにアテンションを導入した場合、再帰的アーキテクチャに依存する必要があるとされる長期記憶問題を解けるかどうかを調査すること。
• 再帰的構造なしに長距離シーケンスモデリングを可能にするアテンションの有効性、特に可変長シーケンスにおいての有効性を評価すること。
• 長く可変な長さのシーケンスを処理する際、アテンションベースの統合と重みなし平均化の性能を比較すること。
• フィードフォワードネットワークにアテンションを組み込むことで、完全な並列化を実現しつつ、合成的な長期記憶タスクにおいて高い正確性を達成できることを示すこと。
• アテンションが、再帰的でないアーキテクチャにおいても、特定の位置に的を絞って参照できるようにするメカニズムであるという実証的証拠を提供すること。

提案手法

• 各入力トークン $ x_t $ に対して、可学習重み行列とバイアスを用いて隠れ状態 $ h_t = \text{LReLU}(W_{xh}x_t + b_{xh}) $ を計算する。
• フィードフォワードアテンションを介してコンテキストベクトル $ c $ を計算する：$ c = \sum_{t=1}^T \alpha_t h_t $、ここで $ \alpha_t = \frac{\exp(a(h_t))}{\sum_k \exp(a(h_k))} $ であり、$ a $ はアテンション重みを出力する可学習関数である。
• アテンション機構により、各隠れ状態の関連性に基づいて重み付けされた表現を通じて、シーケンス全体の固定長で適応的な表現が得られる。
• バックプロパゲーションを用いたエンドツーエンド学習により、再帰的構造を一切持たないため、シーケンス内の位置間で完全に並列化が可能である。
• アテンションの利点を明確にするために、重みなし平均プーリング（$ c = \frac{1}{T}\sum_{t=1}^T h_t $）をベースラインとして比較する。
• 実験は、固定長および可変長シーケンスを用いた合成的な加算および乗算タスクで実施され、最大10,000のシーケンス長にわたる一般化性能をテストする。

実験結果

リサーチクエスチョン

• RQ1 アテンションを備えたフィードフォワードネットワークは、標準的なRNNが処理できる範囲を超える長さのシーケンス（加算や乗算を含む）に対して長期記憶タスクを解けるか？
• RQ2 提案されたアテンション機構は、重みなし平均化と比較して、可変長シーケンスにおいてより優れた一般化性能を示すか？
• RQ3 再帰的構造を持たないモデルが、アテンションを用いることで長大なシーケンスにおいて高い正確性を達成しつつ、並列化によって計算効率を維持できるか？
• RQ4 アテンション機構が、入力シーケンス内の関連する位置に的を絞って注目できるようになる程度はどの程度か？
• RQ5 合成ベンチマークにおいて、フィードフォワードアテンションモデルの性能は、長く多様な長さのシーケンスに対してRNNと比較してどうなるか？

主な発見

• 可変長シーケンス（50～10,000タイムステップ）で学習した場合、フィードフォワードアテンションモデルは加算タスクで99.9%、乗算タスクで99.4%の正確性を達成した。
• モデルは最大10,000のシーケンス長まで長期記憶タスクを解くことができ、標準的なRNNが通常処理できる数百分の100を超える長さのシーケンスをカバーした。
• 10,000トークンのシーケンス100,000件を1エポック学習するのに、NVIDIA GTX 980 Ti GPUで254秒で完了した。一方、同等のパラメータ数の単一層RNNは917秒を要した。
• 重みなし平均化と比較して、アテンション機構は顕著な性能向上を示した：可変長加算タスクでは99.9% vs. 77.4%の正確性であった。
• モデルは、再帰的構造なしに、フィードフォワードネットワークにおける適応的アテンションが、長距離依存関係の学習を効果的に行えることを示した。これにより、並列学習が効率的に行える。
• 順序に依存しないタスクにおいては、アテンションを備えたフィードフォワードネットワークが、RNNの強力な代替手段となり得るという示唆が得られた。