[論文レビュー] SG-Net: Syntax Guided Transformer for Language Representation

Zhuosheng Zhang, Yuwei Wu+4 more|arXiv (Cornell University)|Dec 27, 2020

Topic Modeling被引用数 4

ひとこと要約

本稿では、自己注意機構に句構造的依存構造を統合することで言語表現を向上させる、構文誘導型のTransformerアーキテクチャ、SG-Netを提案する。構文駆動型出力意図（SDOI）マスクを導入して注意を誘導することにより、言語的に関連する語群に注目を集中させ、アーキテクチャの変更を最小限に抑えながら、機械的読解、自然言語帰納、ニューラル機械翻訳のタスクで最先端の性能を達成した。

ABSTRACT

Understanding human language is one of the key themes of artificial intelligence. For language representation, the capacity of effectively modeling the linguistic knowledge from the detail-riddled and lengthy texts and getting rid of the noises is essential to improve its performance. Traditional attentive models attend to all words without explicit constraint, which results in inaccurate concentration on some dispensable words. In this work, we propose using syntax to guide the text modeling by incorporating explicit syntactic constraints into attention mechanisms for better linguistically motivated word representations. In detail, for self-attention network (SAN) sponsored Transformer-based encoder, we introduce syntactic dependency of interest (SDOI) design into the SAN to form an SDOI-SAN with syntax-guided self-attention. Syntax-guided network (SG-Net) is then composed of this extra SDOI-SAN and the SAN from the original Transformer encoder through a dual contextual architecture for better linguistics inspired representation. The proposed SG-Net is applied to typical Transformer encoders. Extensive experiments on popular benchmark tasks, including machine reading comprehension, natural language inference, and neural machine translation show the effectiveness of the proposed SG-Net design.

研究の動機と目的

• 構文的構造を明示的なガイドとして組み込むことにより、Transformerベースのモデルにおける注意機構の精度を向上させること。
• 長く複雑なテキストにおけるノイズが多く、構造のない注意の問題を、言語的に関連する語の依存関係に注目することで解決すること。
• 微調整のみで再訓練なしに、BERTのような事前学習モデルを強化できる、軽量でプラグイン型のソリューションを開発すること。
• 構文誘導型注意の有効性と一般化能力を、読解、帰納、翻訳といった多様なNLPタスクで検証すること。

提案手法

• 構文的依存構造解析から導出された構文駆動型出力意図（SDOI）マスクを導入し、自己注意行列を制約する。
• 元の自己注意表現と構文誘導型注意出力を統合する二重コンテキストアーキテクチャを構築する。
• SDOIマスクを用いて自己注意層内の注意スコアを変更し、構文的に関連する語のペアに注目するように保証する。
• 事前学習済みBERTをベースエンコーダーとして採用し、SDOIマスクを適用する追加層を追加することで、プラグイン統合を可能にする。
• 構文解析を事前にオフラインで処理し、コアなTransformerアーキテクチャの再訓練や変更を回避する。
• 標準的および構文誘導型の両方の注意表現を保持する二重注意メカニズムを採用し、文脈理解を向上させる。

実験結果

リサーチクエスチョン

• RQ1 構文的依存構造は、Transformerベースのモデルにおける注意機構の正確性と解釈可能性を向上させることができるか？
• RQ2 構文誘導型注意は、機械的読解や自然言語帰納などの下流NLPタスクにおける性能にどのように影響を与えるか？
• RQ3 軽量でプラグイン型のモジュールは、アーキテクチャの変更や再訓練なしに、BERTのような事前学習モデルを強化できるか？
• RQ4 構文誘導型注意は、長く複雑な文における無関係またはノイズの多い語への注目をどの程度低減するか？
• RQ5 弱いまたは不完全な構文解析器を用いた場合、この手法の頑健性はどの程度か？

主な発見

• SG-Netは、機械的読解ベンチマークで、標準的なBERTや他の強力なベースラインを上回る顕著な向上を達成した。
• 自然言語帰納やニューラル機械翻訳を含む複数のタスクで一貫した向上を示し、強力な一般化能力を示した。
• 構文誘導型注意機構により、特に長く複雑な入力シーケンスにおいて、無関係な語への注目が低減された。
• 二重コンテキストアーキテクチャは、元の表現と構文に基づく表現の両方を効果的にバランスさせ、モデルの頑健性を向上させた。
• 弱い構文解析器を用いても、二重注意設計により誤差の拡大を緩和し、高い性能を維持した。
• この手法は軽量であり、既存のTransformerモデルへの適応が容易で、再訓練なしに微調整のみで実装可能であった。