[論文レビュー] Why Do Masked Neural Language Models Still Need Common Sense Knowledge?

Sunjae Kwon, Cheongwoong Kang+2 more|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 22被引用数 12

ひとこと要約

この論文は、BERTのようなマスクされたニューラル言語モデル（MNLMs）が、強力な性能を示す一方で、質疑応答における一般的な常識的推論で依然として困難を抱える理由を調査している。外部の常識的知識を統合することで、MNLMの性能が顕著に向上することを示している。研究では、学習済みの常識的知識を測定するための知識プロービングテストを提案し、MNLMsが意味的関係を部分的かつ不正確に理解していることが判明した。本研究では、手動による質問の修正やニューラルメモリネットワークを用いた外部常識的知識の統合により、特に同義語関係や関係的推論を要する困難な質問に対して、MNLMの性能が顕著に向上することを示している。

ABSTRACT

Currently, contextualized word representations are learned by intricate neural network models, such as masked neural language models (MNLMs). The new representations significantly enhanced the performance in automated question answering by reading paragraphs. However, identifying the detailed knowledge trained in the MNLMs is difficult owing to numerous and intermingled parameters. This paper provides empirical but insightful analyses on the pretrained MNLMs with respect to common sense knowledge. First, we propose a test that measures what types of common sense knowledge do pretrained MNLMs understand. From the test, we observed that MNLMs partially understand various types of common sense knowledge but do not accurately understand the semantic meaning of relations. In addition, based on the difficulty of the question-answering task problems, we observed that pretrained MLM-based models are still vulnerable to problems that require common sense knowledge. We also experimentally demonstrated that we can elevate existing MNLM-based models by combining knowledge from an external common sense repository.

研究の動機と目的

• 事前学習済みのマスクされたニューラル言語モデル（MNLMs）が、特に属性間の意味的関係を含めた構造的な常識的知識を学習しているかどうかを調査すること。
• MNLMsにとって依然として困難な質問・回答の問題の種類を特定すること、特に常識的推論を要する問題を対象とする。
• ConceptNetのようなリポジトリから得られる外部常識的知識を統合することで、MNLMベースの読解理解モデルの性能が向上するかどうかを評価すること。
• 外部常識的知識とMNLM表現を自動で統合するニューラルメモリネットワークアーキテクチャを設計・検証すること。

提案手法

• ConceptNetの三項節を用いた知識プロービングテストを提案し、MNLMsの常識的知識理解度を評価する。特に意味的関係に焦点を当てる。
• 質問と文脈間の語彙的オーバーラップに基づいて問題の難易度を定義し、意味的変化と常識的知識の有無が主な難易度要因であると特定する。
• 外部常識的三項節を符号化し、ソフトアテンションメカニズムを用いてMNLMの隠れ状態に統合するニューラルメモリネットワークを設計する。
• 知識に配慮したアテンションモジュールを実装：$ I = H + \text{Softmax}(Q \cdot K) \cdot V $、ここで $ Q $, $ K $, および $ V $ はMNLMおよび常識的表現の線形投影である。
• 2つの実験を実施：外部常識的知識を含むように手動で質問を修正する方法と、提案されたニューラルアーキテクチャを用いて知識を自動統合する方法。
• SQuADにおける正確一致スコアとF1スコアを用いて性能を評価し、ベースラインMNLMと知識拡張モデルを比較した。

実験結果

リサーチクエスチョン

• RQ1 MNLMsは、属性間の意味的関係を含め、さまざまなタイプの常識的知識を理解しているのか？
• RQ2 MNLMsは、'原因'と'防止'のような関連するが逆の関係を区別できるのか？
• RQ3 読解理解問題の難易度は、語彙的オーバーラップと意味的変化の程度とどのように相関しているのか？
• RQ4 MNLMsにとって最も困難なRC問題の種類は何か、そしてその理由は何か？
• RQ5 外部の常識的知識は、MNLMベースの質問・回答モデルの性能を向上させることができるのか？

主な発見

• MNLMsは常識的知識を部分的にしか理解しておらず、逆の関係（例：'原因' vs. '防止'）を正確に区別できないため、知識統合が不完全で不正確であることが示された。
• 同義語関係や関係的推論を要する問題は、語彙的オーバーラップに依存する問題よりも顕著に困難であることが判明した。
• 外部常識的知識を手動で統合することで、Domain Aの最も困難な100問において、BERT largeモデルの正答率が56％に向上した。
• 提案されたニューラルメモリネットワークによる外部知識統合により、SQuADにおけるBERT largeのF1スコアは80.11から81.87に向上し、正確一致スコアは78.99％に達した。
• 知識拡張モデルは、Domain Aの100問の難問のうち12問を正しく回答したが、これらすべてが常識的知識または同義語関係を要するタイプの問題であった。外部知識統合の有効性が裏付けられた。
• 結果から、MNLMsは意味的変化や関係的推論に対して依然として脆弱であり、外部知識統合の継続的必要性が浮き彫りになった。