[論文レビュー] Syntax-BERT: Improving Pre-trained Transformers with Syntax Trees

Jiangang Bai, Yujing Wang+5 more|arXiv (Cornell University)|Mar 7, 2021

Topic Modeling参考文献 27被引用数 4

ひとこと要約

Syntax-BERTは、構文木を分解・関係特化型自己注意サブネットワーク（先祖、子孫、兄弟）に統合することで、BERT、RoBERTa、T5などの事前学習済みTransformerモデルを強化するプラグアンドプレイフレームワークを提案する。共有パラメータを用い、トピック的注意層によりこれらのサブネットワークを動的に重み付けすることで、GLUEタスク全体で一貫した性能向上を達成。T5-Largeのスコアは86.3から86.8に向上し、パラメータ増加は最小限に抑えられる。

ABSTRACT

Pre-trained language models like BERT achieve superior performances in various NLP tasks without explicit consideration of syntactic information. Meanwhile, syntactic information has been proved to be crucial for the success of NLP applications. However, how to incorporate the syntax trees effectively and efficiently into pre-trained Transformers is still unsettled. In this paper, we address this problem by proposing a novel framework named Syntax-BERT. This framework works in a plug-and-play mode and is applicable to an arbitrary pre-trained checkpoint based on Transformer architecture. Experiments on various datasets of natural language understanding verify the effectiveness of syntax trees and achieve consistent improvement over multiple pre-trained models, including BERT, RoBERTa, and T5.

研究の動機と目的

• 事前学習段階において、明示的な構文木統合が事前学習済みTransformerモデルの性能に与える影響を調査すること。
• 再訓練から再始動せずに、既存の事前学習チェックポイントに効率的に構文構造を統合する課題に対処すること。
• 事前学習済み知識を保持しつつ、下流タスク向けに構文的インダクティブバイアスを効果的に活用する手法を開発すること。
• 軽量で学習可能な注意メカニズムにより、タスクに応じた構文的関係の選択的利用を可能にすること。
• BERT、RoBERTa、T5を含む多様な事前学習モデルに一般化可能であることを示すこと。

提案手法

• 標準的な自己注意メカニズムを、先祖、子孫、兄弟の構文木関係に基づく複数のサブネットワークに分解する。この際、ホップ数を変化させた異なる関係タイプを扱う。
• すべてのサブネットワークパラメータを事前学習済みモデルと共有することで、既存のチェックポイントからの直接的転送を可能にする。
• 入力に依存する関連性に基づき、各構文的サブネットワークのタスク固有の重みを計算するトピック的注意層を導入する。
• トピック的注意スコアを用いて重み付き和集合により、すべてのサブネットワークの表現を統合する。
• 従属木から導出される親、兄弟、先祖マスクを用いて、各サブネットワークの注意マスクを定義する。
• 任意の事前学習済みTransformerチェックポイントに、再訓練を伴わず、プラグアンドプレイ形式で適用可能である。

実験結果

リサーチクエスチョン

• RQ1 明示的な構文木統合は、事前学習段階における事前学習済みTransformerモデルの性能向上に寄与するか？
• RQ2 再訓練から再始動せずに、事前学習モデルに構文的インダクティブバイアスを効率的に統合することは可能か？
• RQ3 異なる構文的関係（例：先祖、兄弟）は、下流タスクの性能にどのように寄与するか？
• RQ4 このフレームワークは、BERT、RoBERTa、T5のような多様な事前学習モデルに一般化可能か？
• RQ5 トピック的注意メカニズムは、特定のタスクに最も関連する構文的表現を効果的に特定・優先化できるか？

主な発見

• Syntax-BERTは、T5-Largeの全体的なGLUEベンチマークスコアを86.3から86.8に向上させ、パラメータの増加が最小限であるにもかかわらず一貫した向上を示した。
• 構造的プローブにおいて、Syntax-BERT-LargeはUUAS 83.4、スピアマン相関係数0.90を達成し、BERT-Large（UUAS 79.8、相関係数0.86）を上回った。
• Syntax-RoBERTa-LargeはUUAS 84.6、スピアマン相関係数0.93を達成し、RoBERTa-Largeに比べて顕著な構文的知識の強化を示した。
• 事例研究では、Syntax-BERTは「anyone」に句点が付加された文などの文法的誤りを、関連する構文的関係を強調することで正しく同定したのに対し、通常のBERTは失敗した。
• サブネットワーク数が少ない場合、Syntax-BERTの時間計算量はBERTと同等であり、スパース実装によりさらに計算量がO(MD_Q E)に削減された。
• 除去実験では、分解とトピック的注意の両要素が不可欠であることが確認され、それらを除去すると性能が低下し、設計の有効性が裏付けられた。