[論文レビュー] SG-Net: Syntax-Guided Machine Reading Comprehension

Zhuosheng Zhang, Yuwei Wu+4 more|arXiv (Cornell University)|Aug 14, 2019

Topic Modeling参考文献 54被引用数 25

ひとこと要約

本稿では、自己注意機構に文法的依存構造を統合することで、BERTベースの機械的読解を向上させる構文誘導型ニューラルネットワーク、SG-Netを提案する。言語学的に関連する語群に注目を制限するための構文的依存関係の関心（SDOI）を導入することで、表現学習が向上し、SQuAD 2.0およびRACEベンチマークで最先端の性能を達成し、強力なベースラインより顕著な向上を示した。

ABSTRACT

For machine reading comprehension, the capacity of effectively modeling the linguistic knowledge from the detail-riddled and lengthy passages and getting ride of the noises is essential to improve its performance. Traditional attentive models attend to all words without explicit constraint, which results in inaccurate concentration on some dispensable words. In this work, we propose using syntax to guide the text modeling by incorporating explicit syntactic constraints into attention mechanism for better linguistically motivated word representations. In detail, for self-attention network (SAN) sponsored Transformer-based encoder, we introduce syntactic dependency of interest (SDOI) design into the SAN to form an SDOI-SAN with syntax-guided self-attention. Syntax-guided network (SG-Net) is then composed of this extra SDOI-SAN and the SAN from the original Transformer encoder through a dual contextual architecture for better linguistics inspired representation. To verify its effectiveness, the proposed SG-Net is applied to typical pre-trained language model BERT which is right based on a Transformer encoder. Extensive experiments on popular benchmarks including SQuAD 2.0 and RACE show that the proposed SG-Net design helps achieve substantial performance improvement over strong baselines.

研究の動機と目的

• 標準の自己注意機構がすべての語に均等に注目するため、長文や複雑な文章ではノイズに敏感になるという、Transformerモデルにおける限界を是正すること。
• 文法的構造を注目メカニズムの明示的ガイドラインとして統合することで、言語学的に関連する語群に注目を集中させ、機械的読解の性能を向上させること。
• 標準の自己注意と構文誘導型自己注意の両方を統合した二重文脈アーキテクチャを設計し、より豊富で言語学的にインフォームドな表現を得ること。
• 事実、事前学習モデル（例：BERT）における構文的構造が自己注意メカニズムに与える影響を実証的に検証し、特に長文や複雑な質問に対して効果を示すこと。

提案手法

• 依存解析木におけるすべての先祖ノードとその語自体からなる集合を、各語の構文的文脈として定義する構文的依存関係の関心（SDOI）を導入する。
• SDOIに関連する語にのみ注目を制限する構文誘導型自己注意ネットワーク（SDOI-SAN）を設計し、ノイズを低減し、注目を強化する。
• 元のBERT自己注意層とSDOI-SAN層を組み合わせた二重文脈エンコーダーとしてSG-Netを構築し、重み付き融合を用いて一般表現と構文インフォームド表現の両方を保持する。
• SG-NetフレームワークをBERTアーキテクチャに適用し、SQuAD 2.0およびRACEベンチマークで微調整することで、性能向上を評価する。
• 依存解析を用いて各語のSDOIを抽出し、特別トークン（例：[CLS]、[PAD]）は自分自身にのみ注目するように制約する。
• 学習可能な重みを用いて両方の注目メカニズムからの表現を統合する二重文脈集約層を採用し、連結やバイアテンションよりも優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 構文的構造は、機械的読解の向上を目的としたTransformerベースのモデルにおける注目メカニズムを誘導するために効果的に利用可能か？
• RQ2 SDOIを用いて注目を構文的に関連する語群に制限することで、長文や複雑な質問においてノイズを低減し、モデルのロバスト性を向上させられるか？
• RQ3 標準の自己注意と構文誘導型自己注意の融合は、単独で使用する場合と比較して、性能および表現品質の面で優れているか？
• RQ4 二重文脈アーキテクチャは、スパンベースおよび複数選択型の読解タスクにおいて、どの程度性能を向上させるか？

主な発見

• SG-Netは、BERTベースラインと比較して、SQuAD 2.0の開発セットで正確一致（EM）が1.0ポイント、F1スコアが1.1ポイント向上し、それぞれ85.1のEMと87.9のF1を達成した。
• 長文の質問に対してもロバストであることが示され、質問長が延びるほど性能が向上する傾向を示した。これに対して、ベースラインは20語を超える質問では著しく性能が低下した。
• アブレーションスタディの結果、二重文脈機構は単一の注目機構や連結やバイアテンションといった代替手法よりも優れた性能を示した。
• 注目重みの可視化により、構文誘導型注目が『Missouri Compromise』や『1850』といった重要なコンテンツを強調していることが確認され、正解スパンと整合した。
• BERTの後にヴァナイルな自己注意層を追加しても性能向上が得られず、元の自己注意機構が十分に機能していることが示され、構文誘導型自己注意が重複しない補完的で有用な情報を提供していることがわかった。
• 本手法は多様なMRCタスクに有効であり、スパンベース（SQuAD 2.0）および複数選択（RACE）の両ベンチマークで最先端または競争力のある結果を達成した。