[論文レビュー] ASER: A Large-scale Eventuality Knowledge Graph

Hongming Zhang, Xin Liu+3 more|arXiv (Cornell University)|May 1, 2019

Topic Modeling参考文献 51被引用数 5

ひとこと要約

本稿では、110億トークン以上のテキストから従属構文解析とニューラルブートストラップを用いて抽出した、1億9400万件の固有の最終的状況（eventualities）と6400万件の関係を含む大規模な最終的状況知識グラフであるASERを紹介する。Winogradスキーマチャレンジなどの下流タスクにおいて優れた性能を示し、BERT や GPT-2 などの事前学習モデルを強化することが可能である。BERT+WSCR+ASERでは72.5%の精度を達成した。

ABSTRACT

Understanding human's language requires complex world knowledge. However, existing large-scale knowledge graphs mainly focus on knowledge about entities while ignoring knowledge about activities, states, or events, which are used to describe how entities or things act in the real world. To fill this gap, we develop ASER (activities, states, events, and their relations), a large-scale eventuality knowledge graph extracted from more than 11-billion-token unstructured textual data. ASER contains 15 relation types belonging to five categories, 194-million unique eventualities, and 64-million unique edges among them. Both intrinsic and extrinsic evaluations demonstrate the quality and effectiveness of ASER.

研究の動機と目的

• 活動、状態、出来事（最終的状況）に焦点を当てた大規模な知識グラフの不足に取り組むこと。これは常識的推論に不可欠であるが、既存の知識グラフでは未だに代表されていない。
• 手動アノテーションや複雑な意味的役割ラベリングに依存しない、スケーラブルで自動化された方法を用いて、非構造化テキストから最終的状況中心の知識を抽出すること。
• 文脈的パターンに基づいて、因果的、時間的、条件的関係を含む多様な関係タイプを捉える知識グラフを構築すること。
• Winogradスキーマチャレンジなどの下流NLPタスクにおける応用を通じて、内在的評価と外在的評価の両面からASERの品質と有用性を評価すること。
• アーキテクチャの変更なしに、最先端の言語モデルが常識的推論タスクで向上することを示し、実用的価値を証明すること。

提案手法

• 従属構文解析を用いて非構造化テキストから最終的状況を抽出し、各文法的従属構文サブグラフを基本的な最終的状況ユニットとして扱う。
• ペン・ディコースチュラツリー・ツリーブック（PDTB）から明確な話術的接続詞を抽出し、最終的状況間の関係（因果、対比、条件など）をシードとして用いる。
• ニューラルブートストラップフレームワークを適用し、テキストから新たな関係パターンを同定することで、反復的に関係集合を拡張し、カバレッジと一般化能力を向上させる。
• 各最終的状況をノード、関係を重み付きの有向エッジとして表現し、15種類の関係タイプを5つのカテゴリ（例：因果的、時間的、対比的）にグループ化する。
• 得られたASERグラフを外部知識ソースとして活用し、Winogradスキーマチャレンジなどの下流推論タスクで事前学習言語モデル（例：BERT や GPT-2）を強化する。
• 微調整なしに、文字列マッチングと知識インジェクションを用いて、ASERの事実をWinogradスキーマチャレンジなどのタスクの入力文脈に一致させる。

実験結果

リサーチクエスチョン

• RQ1 文法的パターンと最小限の言語的アノテーションに依存して、非構造化テキストから自動的に大規模で最終的状況中心の知識グラフを構築できるか？
• RQ2 既存の知識ベースと比較して、ASERは活動、状態、出来事間の多様で言語的根拠を持つ関係をどれほど効果的に捉えられるか？
• RQ3 ASERは、Winogradスキーマチャレンジのような常識的推論タスクにおける事前学習言語モデルの性能をどの程度向上させられるか？
• RQ4 モデルの微調整なしに、外部知識ソースとしてASERを使用した場合、下流NLPタスクに与える影響は何か？
• RQ5 内在的および外在的評価指標の観点から、ASERのカバレッジと品質は既存の知識ベースと比べてどの程度か？

主な発見

• ASERには1億9400万件の固有の最終的状況と6400万本のエッジがあり、5つのカテゴリに分類された15種類の関係タイプを有しており、これは現在知られている中で最大の最終的状況中心の知識グラフである。
• 内在的評価により、抽出された関係の品質が確認され、ニューラルブートストラップによる関係検出で高い正確性が得られた。
• 外在的評価では、ASERがWinogradスキーマチャレンジの性能を顕著に向上させた。BERT+WSCR+ASERは72.5%の精度を達成し、BERT+WSCR（71.4%）およびBERT（64.5%）を上回った。
• 単純な文字列マッチングでさえも、ベースラインモデルの性能を向上させた。これは、ASERがアーキテクチャの変更なしに常識的推論において実用的価値を持つことを示している。
• ASERの知識を追加することで、BERT+WSCRの精度は71.4%から72.5%に向上した。これは、ASERが事前学習段階で言語モデルが学習する知識を超えた、価値ある実用的知識を提供していることを証明している。
• モデル性能の向上は、さまざまな設定で一貫しており、ASERの知識が多様なNLPタスクにわたって強固で一般化可能であることが示された。