[論文レビュー] ETC: Encoding Long and Structured Inputs in Transformers

Joshua Ainslie, Santiago Ontañón+8 more|arXiv (Cornell University)|Apr 17, 2020

Topic Modeling参考文献 45被引用数 28

ひとこと要約

この論文は、グローバルローカルアテンションと相対的位置符号化、および対照的予測符号化（CPC）事前学習目的を用いて長文系列にスケーリングする新しいトランスフォーマー・アーキテクチャ、拡張トランスフォーマー構築（ETC）を紹介する。ETCは、ホットポットQA、ウィキホップ、ナチュラルクエスチョンズ、オープンKPの4つの長文・構造的入力NLPベンチマークで、アンサンブル手法を用いない単一モデルの提出でも最先端の結果を達成した。

ABSTRACT

Transformer models have advanced the state of the art in many Natural Language Processing (NLP) tasks. In this paper, we present a new Transformer architecture, Extended Transformer Construction (ETC), that addresses two key challenges of standard Transformer architectures, namely scaling input length and encoding structured inputs. To scale attention to longer inputs, we introduce a novel global-local attention mechanism between global tokens and regular input tokens. We also show that combining global-local attention with relative position encodings and a Contrastive Predictive Coding (CPC) pre-training objective allows ETC to encode structured inputs. We achieve state-of-the-art results on four natural language datasets requiring long and/or structured inputs.

研究の動機と目的

• 標準トランスフォーマーにおける自己アテンションの2次的計算コストを緩和し、入力長を約512トークンに制限する要因を解消すること。
• 階層的なドキュメント構造、ドキュメントレベルの関係性、マークアップ構造などの構造的入力を効果的にモデル化できること。
• アーキテクチャ的革新と事前学習戦略を通じて、長文コンテキストおよび構造的入力NLPタスクの性能を向上させること。
• 微調整の効率性と性能を向上させるために、事前学習済みのBERT/RoBERTaモデルからの初期化を可能にすること。
• 構造的入力モデリングとCPC事前学習が、推論力と長文コンテキスト理解力の向上に顕著に寄与することを示すこと。

提案手法

• 入力をグローバルトークンと長文トークンに分割するグローバルローカルアテンション機構を導入し、グローバルと長文トークン間でのアテンション制限により、計算複雑度をO(n²)からO(n)に低減する。
• 相対的位置符号化を用いてグローバルトークンと長文トークン間の依存関係をモデル化し、完全なアテンションを用いずに構造的入力モデリングを可能にする。
• 対照的予測符号化（CPC）事前学習目的を採用し、文単位のマスク言語モデルタスクに類似したグローバル入力表現を学習する。
• 事前学習済みのRoBERTaモデルからの重み転送を可能にし、学習効率と性能を向上させる。
• グローバルから長文へのアテンションパターンを強制的に構造化するため、ハードg2l（グローバルから長文）マスキングを適用する。
• 2段階の入力フォーマットを採用：グローバル入力（例：要約トークン）と長文入力（完全なシーケンス）、両者の間でクロスアテンションを実施する。

実験結果

リサーチクエスチョン

• RQ1 自己アテンションのスケーリングを可能にしつつ、計算複雑度を2次関数のままに保てるように変更されたトランスフォーマー・アーキテクチャは実現可能か？
• RQ2 相対的位置符号化を用いたグローバルローカルアテンションは、階層的および構造的入力依存関係をどれほど効果的にモデル化できるか？
• RQ3 CPC事前学習目的は、長文コンテキストおよび構造的入力NLPタスクの性能向上に寄与するか？
• RQ4 RoBERTaからの初期化は、長文および構造的入力タスクにおける性能向上にどの程度寄与するか？
• RQ5 ハードg2lマスキングやフラット構造のアブレーションといったアーキテクチャ的選択が、構造的データセットにおける性能に与える影響はいかほどか？

主な発見

• ETCは、評価された4つのデータセットすべてで最先端の性能を達成した：ホットポットQA（サポートF1: 0.869）、ウィキホップ（正解率: 75.9）、ナチュラルクエスチョンズ（長文回答）、オープンKP（F1: 0.399）、いずれも単一モデルの提出で。
• アンサンブル手法を用いない状態でも、Longformer-largeよりホットポットQAとウィキホップで優れた性能を示し、ホットポットQAではF1が0.869、ウィキホップでは正解率75.9を達成した。
• CPC事前学習タスクを削除すると、ホットポットQAのサポートF1は0.751から0.722に低下し、構造的推論にCPCの重要性が示された。
• ハードg2lマスキングはホットポットQAでは性能向上をもたらしたが、ウィキホップではわずかに性能を低下させた。これは、構造的インダクティブバイアスに対するデータセット固有の感受性を示している。
• RoBERTaの重みを初期化に用いることで、特にオープンKPとウィキホップで顕著な性能向上が見られ、モデルが大きくなるほど、事前学習の恩恵が顕著になった。
• オープンKPに視覚特徴を追加すると、性能向上が最も顕著に現れ、キーフレーズ候補の最大ログリットを用いることでさらに結果が向上した。