[論文レビュー] Semantics-aware BERT for Language Understanding

Zhuosheng Zhang, Yuwei Wu+5 more|arXiv (Cornell University)|Sep 5, 2019

Topic Modeling参考文献 31被引用数 25

ひとこと要約

本論文では、構造化された意味的役割ラベリング（SRL）信号をBERTフレームワークに明示的に統合することで、言語表現を向上させる意味的注意型BERTモデル、SemBERTを提案する。SRLアノテート済みの述語・目的語構造を、軽量で微調整に適合可能なアーキテクチャを通じてBERTの文脈的埋め込みと統合することで、SemBERTは11のNLUベンチマークで最先端の性能を達成し、SNLIで新たなSOTAを記録するとともに、GLUEおよびSQuAD 2.0でも顕著な向上を示した。

ABSTRACT

The latest work on language representations carefully integrates contextualized features into language model training, which enables a series of success especially in various machine reading comprehension and natural language inference tasks. However, the existing language representation models including ELMo, GPT and BERT only exploit plain context-sensitive features such as character or word embeddings. They rarely consider incorporating structured semantic information which can provide rich semantics for language representation. To promote natural language understanding, we propose to incorporate explicit contextual semantics from pre-trained semantic role labeling, and introduce an improved language representation model, Semantics-aware BERT (SemBERT), which is capable of explicitly absorbing contextual semantics over a BERT backbone. SemBERT keeps the convenient usability of its BERT precursor in a light fine-tuning way without substantial task-specific modifications. Compared with BERT, semantics-aware BERT is as simple in concept but more powerful. It obtains new state-of-the-art or substantially improves results on ten reading comprehension and language inference tasks.

研究の動機と目的

• 従来の事前学習済み言語モデルが、単なる語や文字の埋め込みを超えた豊富で明示的な文脈的意味を捉える能力に制限を受けることに対処する。
• 事前学習済みの意味的役割ラベリングから得られる構造化された意味情報が、自然言語理解のための深層文脈表現を向上させることを検証する。
• タスク固有のアーキテクチャ変更を必要とせず、BERTの使いやすさを保ちながらも、簡単で効果的な方法でBERTを強化する手法を開発する。
• 明示的な意味情報が、質問応答や自然言語推論などの下流NLUタスクにおける性能を顕著に向上させることを実証する。

提案手法

• 入力文を述語・目的語構造でアノテートするための市販の事前学習済み意味的役割ラベラーを活用する。
• 生テキストとSRLラベルを、BERTバックボーンを介して並列に処理し、両モalityの文脈的埋め込みを生成する。
• BERTの隠れ状態とSRLに基づく意味的埋め込みを連結することで、統合表現を形成する意味統合コンポonentを採用する。
• 主なアーキテクチャ的変更なしに、下流タスクに適応するための軽量でエンドツーエンドの微調整戦略を適用する。
• スパンベースのSRLラベリングを活用し、スパン抽出タスクにおけるスパンの分割を改善し、予測精度を向上させる。
• SRLを、誰が何を誰に対してしたかといった明示的な意味的役割を含む構造化外部知識として扱い、BERTの表現を明示的な意味的役割で豊かにする。

実験結果

リサーチクエスチョン

• RQ1 意味的役割ラベリングから得られる明示的な文脈的意味が、自然言語理解タスクにおける事前学習済み言語モデルの性能を向上させ得るか？
• RQ2 構造化された意味信号の統合は、質問応答タスクにおける意味的に完全な回答を捉えるモデルの能力にどのように影響するか？
• RQ3 実世界の設定において、ノイズが多いまたは不完全なSRL予測に対しても、モデルの耐性はどの程度高いか？
• RQ4 意味に注意を払うコンponentを追加することで、標準BERTと比較して予測の解釈可能性と意味的整合性が向上するか？

主な発見

• SemBERTは、自然言語推論ベンチマークSNLIで、先行手法を上回る新たなSOTA性能を達成した。
• GLUEベンチマークでは、BERTを大幅に上回る性能を示し、多様なNLUタスクにわたる広範な向上を確認した。
• SQuAD 2.0では、F1が87.02、EMが83.69を達成し、アブレーションスタディによりSRL統合がより意味的に完全な回答をもたらすことが示された。
• ノイズの多いSRL予測に対してもモデルは頑健であり、40％のラベルがランダムに破損してもF1が87.24を維持するなど、強い性能を発揮した。
• アブレーションスタディにより、意味の明示的統合が不可欠であることが確認され、これを欠いたモデルは顕著に性能を発揮しなかった。
• BERTの隠れ状態とSRL埋め込みの連結が一貫した向上をもたらし、通常の表現と意味的表現の有効な統合が実現されていることが示された。