[論文レビュー] Tree-structured Attention with Hierarchical Accumulation

Xuan-Phi Nguyen, Shafiq Joty+2 more|arXiv (Cornell University)|Feb 19, 2020

Topic Modeling参考文献 15被引用数 26

ひとこと要約

本稿では、構文解析木を統合した定数並列時間計算量を有する階層的蓄積を伴うツリー構造アテンションを提案する。階層的埋め込み、累積平均、重み付き集約を用いて子孫表現を統合することで、機械翻訳およびテキスト分類タスクにおいて最先端の性能を達成し、特にリソースが限られた状況下で優れた性能を発揮し、フレーズ単位のアテンションを好む。

ABSTRACT

Incorporating hierarchical structures like constituency trees has been shown to be effective for various natural language processing (NLP) tasks. However, it is evident that state-of-the-art (SOTA) sequence-based models like the Transformer struggle to encode such structures inherently. On the other hand, dedicated models like the Tree-LSTM, while explicitly modeling hierarchical structures, do not perform as efficiently as the Transformer. In this paper, we attempt to bridge this gap with "Hierarchical Accumulation" to encode parse tree structures into self-attention at constant time complexity. Our approach outperforms SOTA methods in four IWSLT translation tasks and the WMT'14 English-German translation task. It also yields improvements over Transformer and Tree-LSTM on three text classification tasks. We further demonstrate that using hierarchical priors can compensate for data shortage, and that our model prefers phrase-level attentions over token-level attentions.

研究の動機と目的

• 標準のトランスフォーマーが構文的木のような階層的構造を符号化する能力に制限を抱えていることに対処すること。
• ツリーLSTMが抱える逐次的計算のボトル neck を克服しつつ、構造的インダクティブバイアスを維持すること。
• 定数時間計算量を保ちながら、トランスフォーマー枠組み内でのスケーラブルかつ並列化可能なツリー符号化を可能にすること。
• リソースが限られたNLPシナリオにおける階層的事前知識の有効性を評価すること。
• アテンションパターンを分析し、モデルがフレーズ単位のアテンションかトークン単位のアテンションかを特定すること。

提案手法

• モデルは、解析木内のノード間の兄弟関係および階層的関係を、階層的埋め込みで符号化する。
• すべての子孫ノードの隠れ状態を上向きに累積平均集約し、非末端ノードの値表現を形成する。
• ブランチレベルの表現を重み付き集約によって統合し、各非末端ノードの最終的な値を生成する。
• 部分木マスクにより、アテンションスコアがクエリの子孫である場合にのみ活性化されるように制限し、構造的一致性を保証する。
• この手法はトランスフォーマーアーキテクチャに統合され、アテンション計算が定数並列時間計算量を維持する。
• モデルは木のすべてのノードを同時に処理するため、スケーラビリティと効率的な学習／推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 階層的ツリー構造を、定数時間計算量で自己アテンションに符号化できるか？
• RQ2 構文解析木を統合することで、機械翻訳およびテキスト分類タスクの性能が向上するか？
• RQ3 データが限られた状況下でモデルの性能はどのようになるか？また、階層的事前知識は限られたラベル付きデータを補うことができるか？
• RQ4 モデルは、トークン単位のアテンションよりもフレーズ単位のアテンションを好む傾向を示すか？
• RQ5 ツリーLSTMのような再帰的ツリーモデルと比較して、モデルの学習および推論効率はどのようになるか？

主な発見

• 4つのIWSLTおよび1つのWMT’14英独翻訳タスクにおいて、ツリー・トランスフォーマーはトランスフォーマーおよびツリーLSTMを上回り、小規模データセットでは最大3.3 BLEUの向上を達成した。
• テキスト分類では、SST-5で47.4%の正確度を達成し、トランスフォーマーおよびツリーLSTMを上回った。特にリソースが限られた状況下で顕著な優位性を示した。
• モデルは一貫してフレーズ単位のアテンションを好む傾向を示し、葉とノードの比率に関係なく、59–66%のアテンションヘッドが末端ノードではなく非末端ノードに注目していた。
• WMT’14英独翻訳タスクにおいて、学習データが100万ペア未満の状況で3.3 BLEUの向上を示し、優れたデータ効率性を示した。
• 学習および推論時間はシーケンス長にほとんど依存せず、ツリーLSTMとは異なり線形に増加しないことから、モデルの並列性およびスケーラビリティが確認された。
• アブレーションスタディでは、階層的埋め込みや部分木マスクを削除すると、0.49～0.52 BLEUの性能低下が生じ、両者とも不可欠であることが確認された。