[論文レビュー] Explicit Contextual Semantics for Text Comprehension

Zhuosheng Zhang, Yuwei Wu+2 more|arXiv (Cornell University)|Sep 8, 2018

Topic Modeling参考文献 50被引用数 27

ひとこと要約

本稿では、深層学習モデルに明示的な文脈的意味的役割ラベル（SRL）を統合することで、テキスト理解と推論を向上させる新しいフレームワークを提案する。BERTなどの強力なベースラインにSRL埋め込みを組み込むことで、SQuADおよびSNLIの両タスクで最先端の性能を達成し、相対誤差率の低下が最大3.3%、F1スコアで0.3–0.4%の絶対的向上を達成した。これは、明示的な意味論が標準的な事前学習をはるかに超えてモデルの理解力を顕著に向上させることを示している。

ABSTRACT

Who did what to whom is a major focus in natural language understanding, which is right the aim of semantic role labeling (SRL) task. Despite of sharing a lot of processing characteristics and even task purpose, it is surprisingly that jointly considering these two related tasks was never formally reported in previous work. Thus this paper makes the first attempt to let SRL enhance text comprehension and inference through specifying verbal predicates and their corresponding semantic roles. In terms of deep learning models, our embeddings are enhanced by explicit contextual semantic role labels for more fine-grained semantics. We show that the salient labels can be conveniently added to existing models and significantly improve deep learning models in challenging text comprehension tasks. Extensive experiments on benchmark machine reading comprehension and inference datasets verify that the proposed semantic learning helps our system reach new state-of-the-art over strong baselines which have been enhanced by well pretrained language models from the latest progress.

研究の動機と目的

• テキスト理解モデルにおいて、その潜在的利点にもかかわらず、明示的な意味信号の統合が不十分であるという問題に取り組む。
• 意味的役割ラベリング（SRL）が、機械読解（MRC）およびテキスト帰属関係（TE）の深層学習モデルを強化するための強固で汎用的な信号として機能するかを調査する。
• 既存のニューラルアーキテクチャにSRL埋め込みを統合するシンプルでエンドツーエンドの方法を開発する。
• 明示的な意味論、特にSRLが、POS や NER などの他の言語的タグよりもモデル性能を向上させるかを検証する。
• SRLを強化したモデルが、BERT などの高度なモデルに対しても最先端の結果を達成できることを示す。

提案手法

• 本手法は、事前学習済みのSRLモデルから得たSRL埋め込みを、下流モデル（例：BERT や BiDAF）の入力表現にエンドツーエンドで微分可能に統合する。
• SRL埋め込みを語彙埋め込みに連結することで、誰が何を誰にしたかといった明示的な述語・目的語構造を入力表現に強化する。
• フレームワークは、機械読解（SQuAD）およびテキスト帰属関係（SNLI）の両タスクに適用され、両タスクで一貫した向上を示した。
• SRLモデルは、多様な言語的コロケーションを含むOntonotesという多様なドメインのコーパスで事前学習されており、広範なドメイン一般化を確保している。
• ハイパーパrameterチューニングとして、SRL埋め込み次元数を最適化し、SQuADおよびSNLIの両方で5次元が最適であると判明した。
• POS や NER タグを用いた比較的アブレーション実験により、SRLが意味的信号として優れていることを検証した。

実験結果

リサーチクエスチョン

• RQ1 SRLからの明示的な文脈的意味論が、テキスト理解および推論タスクの性能向上に寄与するか？
• RQ2 SRL埋め込みの統合は、BERT などの強力な事前学習モデルにどのような影響を与えるか？
• RQ3 SRLは、POS や NER などの他の言語的タグよりも、モデル理解の向上に優れているか？
• RQ4 性能と一般化性の観点から、SRL埋め込みの最適次元数は何か？
• RQ5 SRL埋め込みは、複雑な推論タスクにおけるモデルの頑健性を向上させ、誤差率を低下させるか？

主な発見

• 提案されたSRL強化フレームワークは、SQuAD開発セットで最先端の性能を達成し、BERT BASEよりもF1スコアで0.4%の絶対的向上と、相対誤差率の3.3%の低下を達成した。
• SNLIデータセットでは、テストしたすべてのタグタイプの中でSRL埋め込みが最高の性能を示し、POS や NER 埋め込みを上回った。
• 5次元のSRL埋め込みが最適であることが判明した。これは表現力と一般化性のバランスをとる上で最適であり、より高いまたは低い次元では性能が低下した。
• 本手法は、BERT LARGE を含む強力なベースラインを一貫して改善し、SQuAD で84.5%のEMと91.2%のF1スコアを達成し、以前の最先端性能を上回った。
• フレームワークはドメインおよびタスクにかかわらず頑健であり、1つの多様なSRLコーパス（Ontonotes）で学習されたにもかかわらず、MRCおよびTEベンチマークの両方で一貫した向上を示した。
• SRL埋め込みの統合はシンプルかつ効果的であり、アーキテクチャの再設計が不要で、最小限の再学習で済むため、既存モデルへの広範な適用が可能である。