[論文レビュー] LIMIT-BERT : Linguistic Informed Multi-Task BERT

Junru Zhou, Zhuosheng Zhang+2 more|arXiv (Cornell University)|Oct 31, 2019

Topic Modeling参考文献 57被引用数 14

ひとこと要約

LIMIT-BERT は、スパム・マスク・ランゲージモデリングの目的関数を強化し、半教師あり学習戦略を用いて、5つの言語的タスク（品詞タギング、構文成分解析および従属構文解析、スパンおよび従属構文SRL）を同時に事前学習する言語的インスパイラションを持つマルチタスク BERT モデルを提案する。このモデルは、構文的および意味的構造を事前学習段階で活用することで、構文解析、GLUE、SNLI ベンチマークで最先端の性能を達成し、Whole Word Masking BERT を上回る。

ABSTRACT

In this paper, we present a Linguistic Informed Multi-Task BERT (LIMIT-BERT) for learning language representations across multiple linguistic tasks by Multi-Task Learning (MTL). LIMIT-BERT includes five key linguistic syntax and semantics tasks: Part-Of-Speech (POS) tags, constituent and dependency syntactic parsing, span and dependency semantic role labeling (SRL). Besides, LIMIT-BERT adopts linguistics mask strategy: Syntactic and Semantic Phrase Masking which mask all of the tokens corresponding to a syntactic/semantic phrase. Different from recent Multi-Task Deep Neural Networks (MT-DNN) (Liu et al., 2019), our LIMIT-BERT is linguistically motivated and learning in a semi-supervised method which provides large amounts of linguistic-task data as same as BERT learning corpus. As a result, LIMIT-BERT not only improves linguistic tasks performance but also benefits from a regularization effect and linguistic information that leads to more general representations to help adapt to new tasks and domains. LIMIT-BERT obtains new state-of-the-art or competitive results on both span and dependency semantic parsing on Propbank benchmarks and both dependency and constituent syntactic parsing on Penn Treebank.

研究の動機と目的

• 複数の構文的および意味的タスクからの明示的な言語的知識を統合することで、事前学習された言語表現を向上させること。
• 大規模なラベルなしテキストと小規模なゴールドスタンダード言語的データセットの間のデータの不均衡を、半教師あり学習によって解消すること。
• 事前学習段階で既知の構文的および意味的成分を組み込むことで、BERT のマスク言語モデリング目的関数を強化すること。
• 言語的タスクの共同学習が、下流のNLUタスクにおけるより汎用的で強力な表現をもたらすことを示すこと。
• 多様なNLPアプリケーションに効果的である、包括的で多目的な事前学習モデルをリリースすること。

提案手法

• 品詞タギング、構文成分解析および従属構文解析、スパンおよび従属構文SRL の5つの言語的タスクを統合した統一されたマルチタスク学習フレームワークに統合する。
• 半教師あり学習戦略を適用：大規模なラベルなしテキストに対して事前学習済みモデルを用いて言語的アノテーションを予測し、これらの偽ラベルをゴールドスタンダードデータセットと組み合わせる。
• 既知の構文的および意味的成分を条件としてマスク予測を条件づけることで、BERT のマスク言語モデリング目的関数を強化し、文脈的表現学習を向上させる。
• 個々のタスクの損失を合算するマルチタスク損失関数を用い、多様な言語的信号におけるエンドツーエンドの学習を可能にする。
• 各言語的タスクごとにタスク固有のヘッドを備えた共有トランスフォーマーエンコーダーを採用し、パラメータ共有と表現転送を実現する。
• 優れたパフォーマンスを示す先行モデル（例：Zhou et al., 2020）を活用して、ラベルなしデータに対する高信頼度の偽ラベルを生成し、信頼性の高い半教師あり信号を確保する。

実験結果

リサーチクエスチョン

• RQ1 構文と意味の共同マルチタスク学習が、標準的なマスク言語モデリングを上回る事前学習された言語表現を向上させられるか？
• RQ2 マスク学習目的関数に言語的構造を組み込むと、下流のNLPパフォーマンスにどのような影響を与えるか？
• RQ3 半教師ありデータ拡張は、事前学習と言語的タスクデータセットの間のデータ不均衡をどの程度緩和できるか？
• RQ4 複数の言語的タスクを同時に学習することは、ドメイン外およびゼロショットNLUタスクにおける一般化性能を向上させるか？
• RQ5 統一されたモデルは、スパンベースおよび従属構文ベースの構文的および意味的アノテーションを効果的に処理できるか？

主な発見

• LIMIT-BERT は、CoNLL-2005、CoNLL-2009、Penn Treebank の木構造データセットにおいて、依存構文解析および成分構文解析の両方で Whole Word Masking BERT を上回る性能を示した。
• GLUEベンチマークでは最先端の結果を達成し、多様なNLUタスクへの一般化能力の向上を示した。
• SNLI自然言語推論ベンチマークでも強力なパフォーマンスを発揮し、言語的監視による推論能力の向上を示した。
• 半教師あり学習戦略により、低リソースの言語的タスクのパフォーマンスが著しく向上し、高信頼度の偽ラベルによる訓練データの拡張が有効であった。
• 構文的および意味的成分に基づいてインスパイアされた強化されたマスク学習目的関数により、より頑健で情報量の多い表現が得られた。
• リリースされた LIMIT-BERT モデルは、幅広いNLPアプリケーションに適した包括的で多目的な事前学習モデルとして機能する。