[論文レビュー] From Unstructured Text to Causal Knowledge Graphs: A Transformer-Based Approach

Scott L. Friedman, Ian Magnusson+2 more|arXiv (Cornell University)|Feb 23, 2022

Semantic Web and Ontologies被引用数 5

ひとこと要約

本稿では、非構造化テキストから定性的因果知識グラフを抽出するトランスフォーマー基盤のNLPモデルであるSpEARを提示する。このモデルは、エンティティ、因果関係（方向性、大きさ、修飾語を含む）、およびWordNetに基づく語義の意味を一括して特定する。科学的・民族学的テキストにおいて、グラフ走査を用いた実用的推論と正確な抽出を実現し、言語的曖昧性にもかかわらず有望なF1スコアを達成している。

ABSTRACT

Qualitative causal relationships compactly express the direction, dependency, temporal constraints, and monotonicity constraints of discrete or continuous interactions in the world. In everyday or academic language, we may express interactions between quantities (e.g., sleep decreases stress), between discrete events or entities (e.g., a protein inhibits another protein's transcription), or between intentional or functional factors (e.g., hospital patients pray to relieve their pain). Extracting and representing these diverse causal relations are critical for cognitive systems that operate in domains spanning from scientific discovery to social science. This paper presents a transformer-based NLP architecture that jointly extracts knowledge graphs including (1) variables or factors described in language, (2) qualitative causal relationships over these variables, (3) qualifiers and magnitudes that constrain these causal relationships, and (4) word senses to localize each extracted node within a large ontology. We do not claim that our transformer-based architecture is itself a cognitive system; however, we provide evidence of its accurate knowledge graph extraction in real-world domains and the practicality of its resulting knowledge graphs for cognitive systems that perform graph-based reasoning. We demonstrate this approach and include promising results in two use cases, processing textual inputs from academic publications, news articles, and social media.

研究の動機と目的

• 非構造化自然言語からエンティティ、因果関係、制約を含む構造化された因果知識を自動で抽出する手法の開発。
• 認知的推論システムでの利用を想定し、定性的な意味（例：q+、q−、intent+、teleological）を用いた因果関係の表現。
• 文脈に応じた語義の判別を用いて抽出されたノードをオントロジー（WordNet）に埋め込むことで、推論の向上を図る。
• 抽出された知識グラフが、グラフ走査や因果推論などの下流タスクにおいて実用的に有効であるかの評価。
• 実世界の分野、特に科学的主張や民族学的物語におけるアプローチの有効性の提示。

提案手法

• SpEARモデルは、SpERTを変更して微調整したBERTベースのアーキテクチャであり、文脈的理解を伴うエンティティと関係の同時抽出を目的として設計されている。
• 同時に予測する内容は：(1) エンティティ（変数または要因）、(2) 定性的因果関係（例：q+、q−、intent+、teleological）、(3) 修飾語（大きさ、時間的、場所的）、および (4) 各ノードのWordNet語義。
• 語義の判別は、解析の過程ではなく、後処理段階で文脈に応じた埋め込みを用いて実施される。
• 関係と属性を同時に予測するマルチタスク学習を用いることで、知識グラフ構築における一貫性と整合性が向上する。
• 抽出された知識は、ノードがエンティティと語義でラベル付けされ、エッジが因果的意味と修飾語をエンコードする有向属性グラフとして表現される。
• パターンベースのクエリ（例：「母がXを食べたことから、子がYを発症する因果経路をすべて特定」）を用いてグラフ走査が可能となり、間接的影響の推論を支援する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のモデルは、非構造化テキストから方向性、大きさ、時間的制約を含む定性的因果関係を正確に抽出できるか。
• RQ2 文脈に応じたNLPモデルは、因果グラフに抽出されたエンティティのオントロジーに根ざした語義（例：WordNet）をどの程度正確に推論できるか。
• RQ3 抽出された因果知識グラフは、実世界の分野において、経路走査や因果推論といった実用的推論タスクを支援できるか。
• RQ4 モデルは、科学的主張や文化的に特異な因果的信念を有する民族学的物語を含む多様なテキストタイプにおいて、どの程度の性能を示すか。
• RQ5 現在のNLPモデルは、因果的言語における曖昧さや緩和表現（hedging）をどの程度適切に処理できており、その影響が下流の推論に及ぼす要因は何か。

主な発見

• データの希少性と言語的曖昧性にもかかわらず、SpEARモデルはSciClaimデータセットおよび民族学的コーパスにおいて有望なF1スコアを達成している。
• システムは、複雑な因果構造、特に定性的増加（q+）、減少（q−）、時間的修飾語（例：「2月5日以降から」）、および大きさの修飾語を効果的に抽出・表現している。
• パターンベースのクエリによるグラフ走査により、民族学的テキストにおいて母の食事行動と子の健康状態との間の意味のある因果経路が特定された。
• 科学的に裏付けられていないが文化的に特異な因果的信念（例：「マングースを食べると下痢になる」）でさえも、抽出可能であり、記述的思考モデル分析における実用性を示している。
• 抽象的な議論のタイプ（例：頻度 vs. 発生確率）の判別に限界は見られるが、現在の表現形式は認知的システムにおける実用的推論を支援している。
• 事前学習モデルはトレーニングデータに起因するバイアスを内蔵していることが明らかとなり、今後の研究では評価の徹底とバイアス除去の検討が不可欠である。