[論文レビュー] Multiresolution Transformer Networks: Recurrence is Not Essential for Modeling Hierarchical Structure

Vikas Garg, Inderjit S. Dhillon+1 more|arXiv (Cornell University)|Aug 27, 2019

Topic Modeling参考文献 41被引用数 4

ひとこと要約

本稿では、再帰を用いずに階層的構造をモデル化する自己注意機構に基づくアーキテクチャであるマルチリゾリューショントランスフォーマーネットワーク（MTNs）を提案する。複数のリゾリューションレベル（例：クエリレベルおよびセッションレベル）を活用することで、性能が向上する。MTNsは、AOLおよびOnlineXなどのデータセット上で、最先端の再帰的および階層的モデルを著しく上回り、BLEUスコアで25%以上、精度で20%以上向上を達成した。

ABSTRACT

The architecture of Transformer is based entirely on self-attention, and has been shown to outperform models that employ recurrence on sequence transduction tasks such as machine translation. The superior performance of Transformer has been attributed to propagating signals over shorter distances, between positions in the input and the output, compared to the recurrent architectures. We establish connections between the dynamics in Transformer and recurrent networks to argue that several factors including gradient flow along an ensemble of multiple weakly dependent paths play a paramount role in the success of Transformer. We then leverage the dynamics to introduce {\em Multiresolution Transformer Networks} as the first architecture that exploits hierarchical structure in data via self-attention. Our models significantly outperform state-of-the-art recurrent and hierarchical recurrent models on two real-world datasets for query suggestion, namely, \aol and \amazon. In particular, on AOL data, our model registers at least 20\% improvement on each precision score, and over 25\% improvement on the BLEU score with respect to the best performing recurrent model. We thus provide strong evidence that recurrence is not essential for modeling hierarchical structure.

研究の動機と目的

• 再帰が、順序データにおける階層的構造をモデル化するために不可欠であるかどうかを調査すること。
• 再帰を用いずに、マルチリゾリューションの依存関係を捉える自己注意ベースのアーキテクチャを開発すること。
• ユーザーの検索行動の階層的特徴を活用することで、実世界のデータセットにおけるクエリ提案の性能を向上させること。
• 注意メカニズムが、長距離および階層的依存関係をモデル化する際に再帰的モデルを上回ることを実証すること。
• 再帰を構造化された注意に置き換えることの、実証的および理論的根拠を提供すること。

提案手法

• 異なるリゾリューションレベル（例：クエリレベルおよびセッションレベル）に別々の自己注意層を用いることで、階層的構造をモデル化するマルチリゾリューショントランスフォーマーネットワーク（MTNs）を提案する。
• 2段階のエンコーダ構造を導入：クエリレベル（Q）およびセッションレベル（S）の層で構成され、セッションレベルの層は、同じセッションからのクエリのシーケンスを注目する。
• クエリレベルおよびセッションレベルの表現を用いて、自己回帰的に次回のクエリを生成するデコーダを設計する。
• 標準のトランスフォーマーと同様に、マルチヘッド自己注意、残差接続、レイヤーナーミャライゼーションを用いるが、複数のリゾリューションレベルに適用する。
• 次クエリ予測のための交差エントロピー損失とシーケンスレベル評価のためのBLEUを用いて、モデルをエンドツーエンドで最適化する。
• モデルサイズを同等に保ちつつ、層の数を変化させることで、標準トランスフォーマーおよび階層的RNNとMTNsを比較する。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構は、再帰を用いずに、シーケンスにおける階層的構造を効果的にモデル化できるか？
• RQ2 マルチリゾリューションの注意ベースのモデルは、クエリ提案タスクにおいて最先端の再帰的および階層的RNNモデルと比較して、どのように性能を発揮するか？
• RQ3 複数のリゾリューションレベル（例：クエリレベルおよびセッションレベル）は、単一のリゾリューションの注意と比較して、ユーザーの検索意図のモデル化をどの程度向上させるか？
• RQ4 MTNsの性能向上は、より良い勾配伝搬、アンサンブル効果、それとも明示的な階層的モデリングによるものか？
• RQ5 MTNsは、同じ深さおよび幅を持つ標準トランスフォーマーを上回って、階層的依存関係をモデル化できるか？

主な発見

• AOLデータセットでは、MTNsは最良の再帰的モデルよりも25%以上高いBLEUスコアを達成し、14.62（MTNs）と13.90（標準トランスフォーマー）を記録した。
• AOLデータセットでは、MTNsは最良の再帰的モデルと比較して、1-gramおよび4-gramの精度を最低20%以上向上させ、3-および4-gramスコアでは50%以上の精度向上を達成した。
• OnlineXおよびAOLの両方のデータセットで、MTNsはすべての精度指標においてすべてのベースラインモデルを上回り、3-および4-gram精度で最大40%の差を示した。
• 同じ合計層数であっても、MTNsが3つのクエリレベルおよび2つのセッションレベルのエンコーダ層を備えた場合、4または5層のエンコーダ層を持つ標準トランスフォーマーを上回った。
• セッションレベルの層を削除するか、追加のトランスフォーマーのエンコーダ層に置き換えると、性能が著しく低下し、マルチリゾリューション設計の必要性が示された。
• 定性的な分析では、MTNが生成する提案が、複数回の検索の洗練に伴い、進化するユーザーの意図をよりよく反映していることがわかった。例えば、'mini glad containers'の後に'lunch bag cold pack'を提案した。