[論文レビュー] Improving BERT with Syntax-aware Local Attention

Zhongli Li, Qingyu Zhou+3 more|arXiv (Cornell University)|Dec 30, 2020

Topic Modeling参考文献 19被引用数 7

ひとこと要約

この論文では、依存解析を用いて距離に基づくアテンションマスクを計算することで、構文的に関連する語に自己アテンションを制限する、構文に配慮した局所的アテンション（SLA）を提案する。SLAを学習可能なゲート機構を介してBERTに統合することで、複数の単文NLPタスクで一貫した性能向上を達成し、平均的にBERTおよび先行の構文に基づくアプローチを上回り、FCEではSOTAを更新し、0.7の絶対的F1向上を達成した。

ABSTRACT

Pre-trained Transformer-based neural language models, such as BERT, have achieved remarkable results on varieties of NLP tasks. Recent works have shown that attention-based models can benefit from more focused attention over local regions. Most of them restrict the attention scope within a linear span, or confine to certain tasks such as machine translation and question answering. In this paper, we propose a syntax-aware local attention, where the attention scopes are restrained based on the distances in the syntactic structure. The proposed syntax-aware local attention can be integrated with pretrained language models, such as BERT, to render the model to focus on syntactically relevant words. We conduct experiments on various single-sentence benchmarks, including sentence classification and sequence labeling tasks. Experimental results show consistent gains over BERT on all benchmark datasets. The extensive studies verify that our model achieves better performance owing to more focused attention over syntactically relevant words.

研究の動機と目的

• 単文NLPタスクにおけるBERTの性能を、構文構造を統合した注目メカニズムで向上させること。
• BERTにおけるグローバルアテンションの制限を、局所的で構文的に意味のある語のペアに注目することで克服すること。
• パrameter増加を最小限に抑えて、事前学習済みBERTに容易に統合可能な軽量モジュールを開発すること。
• 構文構造が固定ウィンドウまたは動的ウィンドウよりも、より効果的な局所的インダクティブバイアスを提供することを検証すること。
• 構文に配慮した局所的アテンションが、文書分類や系列ラベル付けを含む多様なベンチマークで普遍的かつ効果的であることを示すこと。

提案手法

• 構文的距離を依存解析から導出し、各ターゲット語に対して隣接トークン（i±1）との最小距離を計算することで、局所的アテンションの範囲を定義する。
• これらの距離に基づいて構文に配慮したアテンションマスクを構築し、ドット積アテンション機構に適用することで、構文的に近い語に注目を制限する。
• 各トークンおよび各層ごとに学習可能なゲートユニットを導入し、標準的なグローバル自己アテンションと構文に配慮した局所的アテンションの寄与を動的にバランスさせる。
• モデルはBERTの各Transformer層に構文に配慮した局所的アテンションを統合し、事前学習済みBERTからの重みを初期値とし、エンドツーエンドで微調整する。
• アテンションスコアは、グローバルアテンションと局所的アテンションの重み付き和として計算され、ゲートが各成分の相対的重要性を制御する。
• アプローチは単文タスクで評価され、各入力文に対して依存解析を適用してタスク固有のアテンションマスクを生成する。

実験結果

リサーチクエスチョン

• RQ1 局所的アテンションに構文構造を統合することで、BERTの単文NLPタスクにおける性能が向上するか？
• RQ2 ウィンドウベースの局所的アテンションと比較して、構文に配慮した局所的アテンションは意味のある局所的依存関係をより効果的に捉えられるか？
• RQ3 構文知識の統合が注目パターンやモデルの解釈可能性に与える影響は何か？
• RQ4 提案手法はアーキテクチャの変更なしに多様なベンチマークに効果的に適用可能か？
• RQ5 ゲート機構は、異なる層におけるグローバルアテンションと局所的アテンションのバランスをどのように制御しているか？

主な発見

• 構文に配慮した局所的アテンション（SLA）は、文書分類や系列ラベル付けタスクを含む、すべての評価済み単文ベンチマークでBERTを上回る一貫した性能向上を達成した。
• FEVERおよびFCEデータセットでは、SLAはBERTに対して0.7の絶対的F1向上を達成し、FCEでは新たなSOTAを樹立した。
• 平均性能において、先行の構文ベースのアプローチを上回り、局所的アテンションにおける構文的インダクティブバイアスの有効性を示した。
• ゲート機構は、SLAにおいて深い層で高い値を示しており、局所的アテンションが後続の表現においてより重要な役割を果たしていることを示している。
• 注目可視化により、SLAは「fresh air」が「film」に注目するような重要な構文的依存関係を捉えていることが確認されたが、ウィンドウベース手法では見過ごされている。
• QNLI や RTE などの文対タスクでは、SLAは性能が劣る。これは、クロス文間相互作用が支配的であるためであり、構文的局所的アテンションが長距離・文間推論においてはあまり効果的でないことを示唆している。