[論文レビュー] Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation

Goran Glavašš, Ivan Vulić|arXiv (Cornell University)|Aug 15, 2020

Natural Language Processing Techniques被引用数 10

ひとこと要約

本稿は、RoBERTa や XLM-R のトランスフォーマーに中間構文解析訓練（IPT）を介して教師あり構文解析を組み込むことで、下流の言語理解（LU）タスクの性能が向上するかを調査する。SOTA の構文解析結果を達成しているにもかかわらず、IPT は自然言語推論（NLI）、並び替え同定、因果的共通認識推論の各タスクでわずかで一貫性のない向上を示し、大規模な言語モデル事前学習の時代において、明示的な Universal Dependencies 構文は LU にほとんど利益をもたらさないことを示唆している。

ABSTRACT

Traditional NLP has long held (supervised) syntactic parsing necessary for successful higher-level semantic language understanding (LU). The recent advent of end-to-end neural models, self-supervised via language modeling (LM), and their success on a wide range of LU tasks, however, questions this belief. In this work, we empirically investigate the usefulness of supervised parsing for semantic LU in the context of LM-pretrained transformer networks. Relying on the established fine-tuning paradigm, we first couple a pretrained transformer with a biaffine parsing head, aiming to infuse explicit syntactic knowledge from Universal Dependencies treebanks into the transformer. We then fine-tune the model for LU tasks and measure the effect of the intermediate parsing training (IPT) on downstream LU task performance. Results from both monolingual English and zero-shot language transfer experiments (with intermediate target-language parsing) show that explicit formalized syntax, injected into transformers through IPT, has very limited and inconsistent effect on downstream LU performance. Our results, coupled with our analysis of transformers' representation spaces before and after intermediate parsing, make a significant step towards providing answers to an essential question: how (un)availing is supervised parsing for high-level semantic natural language understanding in the era of large neural models?

研究の動機と目的

• 最新のトランスフォーマーモデルにおいて、中間構文解析訓練（IPT）を介して教師あり構文解析を組み込むことで、下流の言語理解（LU）タスクの性能が向上するかを評価すること。
• Universal Dependencies（UD）ツリーバンクからの明示的な構文知識が、自然言語推論、並び替え同定、因果的共通認識推論などのLUタスクに改善をもたらすかを調査すること。
• IPT と直接微調整、およびインライン学習やアダプタベースの微調整などの他の手法を比較し、トランスフォーマーレイヤー内の表現変化に注目して分析すること。
• 教師あり構文解析から得られる構造的知識が、ニューラルモデルにおける高レベルの意味理解に必要な構文一般化と整合しているかを分析すること。
• 低リソース環境と高リソース・事前学習中心の設定の両方において、構文的インダクティブバイアスの役割を検討し、特にゼロショット多言語転送の文脈で注目すること。

提案手法

• Universal Dependencies（UD）ツリーバンクで中間構文解析訓練（IPT）を実行するため、バイアフィン依存構文解析ヘッドを備えた RoBERTa および XLM-R を微調整する。
• ゴールスタンダードの UD アノテーションを用いた標準的なクロスエントロピー損失に基づき、エンドツーエンドで依存構文解析を学習し、SOTA の構文解析性能を達成する。
• 同じ構文的にインフォームドなトランスフォーマーモデルを、自然言語推論（MNLI）、並び替え同定（SNLI）、因果的共通認識推論（HellaSwag）の3つの下流LUタスクに微調整する。
• IPT を経たモデルの下流性能を、IPT を経ない直接微調整ベースラインと比較することで、組み込まれた構文知識の影響を隔離する。
• トランスフォーマーレイヤー内の表現変化を分析するため、線形-CKA（中心化カーネル整合性）を用い、IPT によって注入された新しい構文情報の度合いを測定する。
• 単言語（英語）およびゼロショット多言語転送の両方の実験を実施し、ターゲット言語の UD ツリーバンクで IPT を微調整した後、英語の LU タスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 Universal Dependencies（UD）構文を用いた中間構文解析訓練（IPT）は、RoBERTa や XLM-R における下流の言語理解（LU）タスクの性能を向上させるか？
• RQ2 IPT はトランスフォーマーレイヤーの表現空間にどのような影響を及ぼし、言語モデル事前学習によって既に存在する構文知識とは異なる意味のある構文知識を注入しているか？
• RQ3 教師あり構文解析から得られる構文情報は、LU タスクに必要な構造的一般化と整合しているか？
• RQ4 IPT の有効性は、異なるモデル（例：BERT 対 RoBERTa）やゼロショット多言語転送設定においてどのように変化するか？
• RQ5 直接微調整やアダプタ、インライン学習などの他の手法と比較して、IPT はどの程度新しいインダクティブバイアスを提供するか？

主な発見

• Universal Dependencies（UD）構文を用いた中間構文解析訓練（IPT）は、自然言語推論（MNLI）、並び替え同定（SNLI）、因果的共通認識推論（HellaSwag）の各下流LUタスクで、わずかで一貫性のない向上を示す。
• SOTA の構文解析性能を達成しているにもかかわらず、IPT は下流LUタスクにほとんど利益をもたらさない。これは、大規模事前学習パラダイムにおいて明示的な構文教師ありは、高レベル理解にほとんど役立たないことを示唆している。
• 線形-CKA 分析により、IPT は直接微調整（ILMT）よりも多くの新しい構文情報を注入していることが示されたが、特に BERT において顕著である。しかし、この情報の注入が性能向上に結びつかないことは、注入された構文知識とタスクに必要な構造との間には不一致があることを示している。
• 下流レイヤーにおける l-CKA スコアは、IPT と元の BERT 間で非常に高い値を示しており、UD ツリーバンクからの構文知識が、言語モデル事前学習によって既に学習済みの構造的知識と重複していることを示唆している。
• RoBERTa は IPT 後に BERT よりも顕著にパラメータ変化が少ないことから、RoBERTa の表現はもともとより豊かで、より頑健である可能性がある。これは、大規模かつ長期間の事前学習によるものと考えられる。
• ゼロショット多言語転送では、mBERT や XLM-R に低リソース言語（例：ドイツ語、トルコ語）の UD ツリーバンクを用いた IPT を適用することで、より多くの構文知識が注入されるが、依然として性能向上はほとんど顕著でない。これは、この設定下で教師あり構文解析が LU に有益ではないという結論を強化している。