[論文レビュー] On the Role of Conceptualization in Commonsense Knowledge Graph Construction

Mutian He, Yangqiu Song+2 more|arXiv (Cornell University)|Mar 6, 2020

Advanced Graph Neural Networks参考文献 38被引用数 7

ひとこと要約

本稿では、実世界のエンティティを広義の概念のインスタンスとして扱うことで、より包括的で多様性に富み、質の高い三元組を生成できるように、共用知識グラフ（CKG）構築のための概念的抽象化（conceptualization）を導入する。負例サンプリングを用いて事前学習言語モデルで微調整された識別モデルを用いるアプローチは、生成的手法に比べて多様性と新規性の両面で優れており、意味的に豊富で未観測のノードおよび関係を効果的にCKGに拡張できる。

ABSTRACT

Commonsense knowledge graphs (CKGs) like Atomic and ASER are substantially different from conventional KGs as they consist of much larger number of nodes formed by loosely-structured text, which, though, enables them to handle highly diverse queries in natural language related to commonsense, leads to unique challenges for automatic KG construction methods. Besides identifying relations absent from the KG between nodes, such methods are also expected to explore absent nodes represented by text, in which different real-world things, or entities, may appear. To deal with the innumerable entities involved with commonsense in the real world, we introduce to CKG construction methods conceptualization, i.e., to view entities mentioned in text as instances of specific concepts or vice versa. We build synthetic triples by conceptualization, and further formulate the task as triple classification, handled by a discriminatory model with knowledge transferred from pretrained language models and fine-tuned by negative sampling. Experiments demonstrate that our methods can effectively identify plausible triples and expand the KG by triples of both new nodes and edges of high diversity and novelty.

研究の動機と目的

• 既存の生成的手法における三元組の多様性と新規性の低さという課題に対処すること。
• 共用知識に含まれる膨大な実世界のエンティティおよび関係をカバーできない現行手法の限界を克服すること。
• エンティティを広義の概念のインスタンスとして扱う概念的抽象化が、CKG拡張のスケーラビリティと意味的豊かさをどのように向上させるかを検討すること。
• 事前学習言語モデルから得られる概念的抽象化と意味的知識を活用して、妥当で新規な三元組を生成する手法を開発すること。
• ASER や Atomic といった既存のCKGにないノードおよび関係を生成する能力として、概念的抽象化の有効性を評価すること。

提案手法

• 本手法は、テキストに登場する実世界のエンティティをそれらに対応する概念にマッピングすることで、概念的抽象化を実現し、新たな三元組の生成を可能にする。
• このタスクを三元組分類として定式化し、生成された三元組の妥当性を評価する識別モデルを用いる。
• モデルは事前学習言語モデル（例：BERT, GPT-2）からの知識で初期化され、有効な三元組と無効な三元組の区別を高めるために負例サンプリングを用いて微調整される。
• 合成三元組は概念的抽象化を通じて生成される：具体的なエンティティをその概念的対応物に置き換え、その後、新たなエンティティで再インスタンス化することで生成する。
• 事前学習モデルが提供する意味的類似性と文脈的理解を活用することで、生成された三元組が意味的に整合的かつ多様であることを保証する。
• 構造的語彙変化を除去するために正規化された指標（例：Dist-N-Norm, N/T N-Norm）を用いて評価を行い、構造的語彙変化を除去した後の多様性と新規性を評価する。

実験結果

リサーチクエスチョン

• RQ1 概念的抽象化は、共用知識グラフ構築における生成三元組の多様性と新規性を向上させることができるか？
• RQ2 生成的手法に比べて、概念的抽象化に基づく三元組生成は、意味的豊かさと未観測エンティティのカバレッジにおいてどのように差をつけるか？
• RQ3 事前学習言語モデルで微調整された識別モデルは、生成的ヒューリスティクスに依存せずに、妥当な三元組を特定できるか？
• RQ4 エンティティが言い換えられているか、意味的に類似している場合に、概念的抽象化は生成ノードの重複を低減できるか？
• RQ5 概念的抽象化は、ASER や Atomic といった既存のCKGに存在しない、新たな高品質なエッジおよびノードを発見可能か？

主な発見

• 提案手法は、最先端の生成モデルである COMeT よりも顕著に高い多様性と新規性を達成しており、Dist-1, Dist-2, Dist-N メトリクスの観点からその優位性が裏付けられている。
• 構造的語彙変化を除去する正規化処理を施した後も、本手法は高い多様性と新規性を維持しているのに対し、COMeT の性能は著しく低下しており、言い換えの多様性が低いことが示唆されている。
• 新規ノードの割合（N/T N-Norm）および新規の異なるノードの割合（N/U N-Norm）は、概念的抽象化に基づく手法が COMeT よりも顕著に高い。
• 識別モデルベースのアプローチは、抽象化された概念的形態から生成された三元組に対しても妥当性を効果的に識別できており、定性的および定量的評価の両面で生成ベースラインを上回っている。
• 実験の結果、概念的抽象化により、意味的に多様で新規なノードおよび関係を含むCKGの拡張が可能であることが示された。特に、ASER に存在しないエンティティをカバーする点で顕著な効果を示した。
• 本手法は、Probase からの低カバレッジエンティティに対しても頑健であり、既存のCKGと比較してエンティティカバレッジが向上し、ノードごとの異なるエンティティ表現が改善されている。