[論文レビュー] Recurrent Attention Unit

Guoqiang Zhong, Guohua Yue+1 more|arXiv (Cornell University)|Oct 30, 2018

Diet and metabolism studiesMedicine参考文献 29被引用数 17

ひとこと要約

本稿では、注意ゲートをGRUセルに直接統合することで、関連するシーケンス領域への適応的・動的な注目を可能にする、新しいRNNアーキテクチャ「再帰的注目ユニット（RAU）」を提案する。RAUは、画像分類、センチメント分類、言語モデリングの各タスクにおいて、GRUおよびLSTMを上回る性能を示し、優れた長期記憶保持能力と情報の重複低減を実現している。

ABSTRACT

Recurrent Neural Network (RNN) has been successfully applied in many sequence learning problems. Such as handwriting recognition, image description, natural language processing and video motion analysis. After years of development, researchers have improved the internal structure of the RNN and introduced many variants. Among others, Gated Recurrent Unit (GRU) is one of the most widely used RNN model. However, GRU lacks the capability of adaptively paying attention to certain regions or locations, so that it may cause information redundancy or loss during leaning. In this paper, we propose a RNN model, called Recurrent Attention Unit (RAU), which seamlessly integrates the attention mechanism into the interior of GRU by adding an attention gate. The attention gate can enhance GRU's ability to remember long-term memory and help memory cells quickly discard unimportant content. RAU is capable of extracting information from the sequential data by adaptively selecting a sequence of regions or locations and pay more attention to the selected regions during learning. Extensive experiments on image classification, sentiment classification and language modeling show that RAU consistently outperforms GRU and other baseline methods.

研究の動機と目的

• GRUが重要なシーケンス領域に適応的に注目できないという限界を解消し、情報の重複や損失を防ぐこと。
• GRUアーキテクチャに注意メカニズムを直接統合することで、RNNの長期記憶保持能力を向上させること。
• 外部モジュールとしての注意機構ではなく、GRUセル内に注意ゲートを埋め込むことで、従来の注意拡張RNNよりも単純で、より訓練しやすいモデルを構築すること。
• 画像分類、言語モデリング、センチメント分類を含む多様なシーケンスモデリングタスクにおいて、RAUの有効性を評価すること。

提案手法

• RAUは、GRUのメモリセル内に注意ゲートを導入し、入力の重要度に基づいて隠れ状態を動的に変調する。
• 注意ゲートは、入力シーケンス全体に対して文脈に即した重み付けを計算し、各タイムステップで顕著な特徴にのみ注目できるようにする。
• 注意メカニズムは、GRUの更新ゲートおよびリセットゲートにスムーズに統合されており、追加モジュールなしにエンドツーエンドの学習が可能である。
• ソフトな注意メカニズムを用いて、入力の異なる位置に異なる重みを割り当て、重要なコンテンツを強調し、不要な情報を抑制する。
• 計算効率の高いGRUの特徴を維持しつつ、注意駆動型の特徴選択によって表現力が向上する。
• ドロップアウトや学習率の減少を含む標準的なトレーニングプロトコルに従い、シーケンスモデリングタスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 GRUセル内に注意メカニズムを直接統合することで、長期記憶能力とシーケンスモデリング性能が向上するか？
• RQ2 提案されたRAUモデルは、標準的なGRUおよびLSTMと比較して、情報の重複を低減し、顕著な入力特徴に焦点を当てる能力が向上しているか？
• RQ3 画像分類、センチメント分類、言語モデリングといった多様なシーケンスタスクにおいて、RAUはどの程度の性能を示すか？
• RQ4 RNNにおける外部注意モジュールと比較して、GRUセル内への注意ゲート統合はより効果的かつ効率的か？

主な発見

• Penn Treebank（PTB）のスモールデータセットでは、RAUはテストパープレキシティが113.89に達し、GRUおよびLSTMを上回った。
• PTB-median設定では、トレーニング曲線から示されるように、RAUはGRUおよびLSTMと比較して顕著に低い検証損失を達成した。
• PTB-largeモデルでは、モデルの複雑さが増したにもかかわらず、RAUは最先端のモデルと競合するテストパープレキシティを維持した。
• IMDBデータセットにおけるセンチメント分類では、RAUはGRUおよびLSTMと同等の精度を達成し、学習率10^-5で安定したトレーニング曲線を示した。
• RAUは、評価されたすべてのタスクで一貫した改善を示し、さまざまなシーケンス学習問題への汎用性を実証した。
• GRUセル内への注意ゲート統合により、外部注意モジュールよりも単純で、より訓練しやすいアーキテクチャが実現されたが、性能に劣化は見られなかった。