[論文レビュー] Extracting Qualitative Causal Structure with Transformer-Based NLP

Scott Friedman, Ian Magnusson+1 more|arXiv (Cornell University)|Aug 20, 2021

Topic Modeling参考文献 15被引用数 5

ひとこと要約

本論文は、自然言語からエンティティ、定性的因果関係（例：q+、q−、forPurpose、hasFunction）、および制約属性（例：大きさ、時系列的修飾語）を一括して抽出するトランスフォーマー基盤のNLPモデルSpEARを提案する。科学的主張および民族誌的テキストを対象に評価した結果、小規模なデータセットにもかかわらず有望なF1スコアを達成し、後続の推論や知識グラフ内でのパス走査に適した因果構造の抽出が有効であることを示している。

ABSTRACT

Qualitative causal relationships compactly express the direction, dependency, temporal constraints, and monotonicity constraints of discrete or continuous interactions in the world. In everyday or academic language, we may express interactions between quantities (e.g., sleep decreases stress), between discrete events or entities (e.g., a protein inhibits another protein's transcription), or between intentional or functional factors (e.g., hospital patients pray to relieve their pain). This paper presents a transformer-based NLP architecture that jointly identifies and extracts (1) variables or factors described in language, (2) qualitative causal relationships over these variables, and (3) qualifiers and magnitudes that constrain these causal relationships. We demonstrate this approach and include promising results from in two use cases, processing textual inputs from academic publications, news articles, and social media.

研究の動機と目的

• 自然言語から方向性、単調性、時系列的または大きさの制約を含む定性的因果関係を自動的に特定・抽出する手法を開発すること。
• 日常的および科学的言語における複雑な因果機構を、文脈に応じたNLPモデルを用いて表現する課題に取り組むこと。
• 抽出された因果知識グラフの走査を可能にし、民族誌的および科学的テキストにおけるメンタルモデルや機能的関係を探索すること。
• 形式的オントロジーに依存せずに、定量的・意図的・目的論的といった多様な因果関係をトランスフォーマー基盤のモデルが効果的に捉えることができることを示すこと。
• 構造化された因果知識抽出を通じて、科学的主張の評価、文献の統合、文化的因果関係分析といった後続の応用を支援すること。

提案手法

• SpEARモデルは、SpERTを改変した、エンティティ・関係・属性を一括で抽出するマルチラベル分類フレームワークに適合させた、微調整済みのBERTベースアーキテクチャである。
• モデルは3つの主要構成要素を特定する：(1) エンティティ（変数または要因）、(2) 定性的因果関係（例：q+、q−、forPurpose、hasFunction）、(3) 大きさ、時系列的修飾語、比較レベルなどの属性。
• 関係は記号的スキーマで定義される。例えば、⟨a, q+, b⟩はaの増加がbの増加を引き起こすことを示し、⟨a, forPurpose, b⟩は意図的または目的指向の因果関係を表す。
• システムは入力テキストを処理し、ノードがエンティティ、エッジが関連する修飾語を持つ因果関係を表す知識グラフを出力する。パス走査にはベクトル類似度とレママッチングを用いる。
• 訓練は、科学的出版物および民族誌的文献から得た小規模で人手でアノテートされたデータセットを用いた教師あり微調整であり、評価はマイクロ平均F1スコアで実施される。
• 抽出された因果グラフ内でユーザーが定義したソースおよびデスティネーション概念間のパスを探索するための走査システムを実装し、完全でないまたは余分なパスは可読性向上のため除外される。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のNLPモデルは、未構造化自然言語から方向性、単調性、時系列的制約を含む定性的因果関係を正確に抽出できるか？
• RQ2 このようなモデルは、科学や民族誌学といった多様な分野において、エンティティ、因果関係、制約属性（例：大きさ、場所）を同時に同定できる程度はどの程度か？
• RQ3 抽出された因果知識グラフは、形式的オントロジー制約がなくても、概念間の意味的な走査や推論を可能にするか？
• RQ4 訓練データが不足しており関係同士の言語的距離が長い状況下で、F1スコアなどの性能指標は、関係タイプ（例：q+、q−）ごとにどのように変化するか？
• RQ5 モデルの出力は、科学的主張の評価や文化的因果関係マッピングといった実用的応用を可能にするか？

主な発見

• SpEARモデルは、51件の科学的主張からなる小規模なテストセットで有望なF1スコアを達成し、マイクロ平均性能によりエンティティ・関係・属性の抽出能力が顕著に高いことが示された。
• q+およびq−関係が最も低い性能を示したが、主に訓練データの不足と、テキスト内での頭部とテールエンティティ間の言語的距離の大きさが要因であった。
• 訓練データが限られても、大きさや時系列的制約といった複雑な修飾語を含む定性的因果構造の抽出が効果的に行われており、科学的および民族誌的テキスト両方の出力例から明らかである。
• 走査システムは、「prayer」から「pregnant」への意味的な因果パス（例：「祈る」が「妊娠」を目的とする）を効果的に同定し、メンタルモデルの探索に有効であることを裏付けた。
• 形式的オントロジーに根拠を持たないにもかかわらず、抽出された知識グラフは、多様な概念を横断して一貫性があり解釈可能な走査を可能にし、粗いレベルの推論を支援した。
• 結果から、文脈に応じたトランスフォーマー基盤のモデルが、最小限の監視のもとで多様な言語的ソースから定性的因果構造を効果的に抽出・表現できることを支持する。