[論文レビュー] Long Short-Term Attention

Guoqiang Zhong, Xin Lin+3 more|arXiv (Cornell University)|Oct 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 5

ひとこと要約

本論文では、長短期間記憶（LSTM）ネットワークのコアセル構造内に注意メカニズムをシームレスに統合する、Long Short-Term Attention（LSTA）と呼ばれる新しい再帰的ニューラルネットワークアーキテクチャを提案する。LSTMセルに注意メカニズムを直接埋め込むことで、重要な情報を選択的に注目しつつも長期依存関係を保持する能力が向上し、画像分類およびセンチメント分析タスクで、LSTMや関連モデルよりも高速な収束と高い正確性を達成する、最先端の性能を発揮する。

ABSTRACT

Attention is an important cognition process of humans, which helps humans concentrate on critical information during their perception and learning. However, although many machine learning models can remember information of data, they have no the attention mechanism. For example, the long short-term memory (LSTM) network is able to remember sequential information, but it cannot pay special attention to part of the sequences. In this paper, we present a novel model called long short-term attention (LSTA), which seamlessly integrates the attention mechanism into the inner cell of LSTM. More than processing long short term dependencies, LSTA can focus on important information of the sequences with the attention mechanism. Extensive experiments demonstrate that LSTA outperforms LSTM and related models on the sequence learning tasks.

研究の動機と目的

• LSTMが強力な長期記憶能力を備えながらも、重要なシーケンス要素に的確に注目する能力に制限があることに対処すること。
• 外部から適用するのではなく、LSTMセル内に直接注意メカニズムを統合するモデルを開発すること。
• 長期記憶と顕著な情報への動的注目を組み合わせることで、シーケンス学習の性能を向上させること。
• 内部に注意を統合することで、ベンチマークシーケンスタスクにおいて収束が速く、正確性が高いことを実証すること。

提案手法

• LSTMセル構造内に注意メカニズムを埋め込んだ、LSTMの強化版としてLSTAを提案し、内部状態の更新プロセスを変更する。
• 入力シーケンス上で注目重みを計算する新しい注目ベースのセル状態更新メカニズムを導入し、関連する部分を動的に強調する。
• 注目重み付き入力を組み込むようにLSTMセルの式を変更し、状態遷移中に顕著な特徴に選択的に注目できるようにする。
• クエリとキーの類似度に基づいて文脈ベクトルを計算するソフトな注目メカニズムを導入し、セル状態の更新の前に行う。
• 標準的な最適化手法を用いて、時間に沿った誤差逆伝播（backpropagation through time）により、エンドツーエンドでモデルを学習する。
• セルレベルに注目メカニズムを統合し、学習中に記憶保持と注目が同時に最適化されるように保証する。

実験結果

リサーチクエスチョン

• RQ1 LSTMセル内に注目メカニズムを直接統合することで、標準LSTMと比較してシーケンス学習性能が向上するか。
• RQ2 内部に注目を統合することで、シーケンスタスクにおける収束が速くなり、一般化性能が向上するか。
• RQ3 LSTMに外部から注目を適用する手法と比較して、LSTAは正確性と学習効率の面で優れているか。
• RQ4 LSTAは、長期依存関係を効果的に捉えつつ、シーケンス内の重要な情報を同時に注目できるか。

主な発見

• Fashion-MNISTデータセットでは、LSTAはLSTMよりも高い正確性と高速な収束を達成しており、正確性と損失の曲線から明らかである。
• IMDBセンチメント分析データセットでは、LSTAはLSTMやHDBNを含むすべての比較モデルの中で、最小の誤差率と最短の実行時間を達成した。
• SemEval-2014のレストランおよびラップトップデータセットでは、LSTAは78.57%の正確性と0.6801のマクロF1スコアを達成し、Cabasc、ATAE-LSTM、LSTMを上回った。
• Twitterのアスペクトベースセンチメント分析データセットでは、LSTAは69.94%の正確性と0.6911のマクロF1スコアを達成し、すべての比較モデルを上回った。
• LSTAは、標準LSTMおよびLSTMセルの外部に注目を適用する注意を補完するモデルと比較して一貫して優れており、内部統合の利点を示した。
• 結果から、LSTMセル内に注目を埋め込むことで、より効果的で効率的なシーケンスモデリングが実現することが確認された。