[論文レビュー] Predicting Directionality in Causal Relations in Text

Pedram Hosseini, David Broniatowski+1 more|arXiv (Cornell University)|Mar 25, 2021

Topic Modeling参考文献 38被引用数 8

ひとこと要約

本稿では、テキスト内の因果関係における原因・結果の方向性を予測するため、BERTとSpanBERTの性能を評価しており、長めのスパンではSpanBERTがBERTを上回ることを明らかにしている。また、文間因果関係および暗黙的因果関係は特に困難であると判明した。著者らは、分散した因果関係データセットを統合するための包括的フレームワークであるCRESTを提案し、自然言語処理分野における再現可能性とベンチマークの質を向上させることを目的としている。

ABSTRACT

In this work, we test the performance of two bidirectional transformer-based language models, BERT and SpanBERT, on predicting directionality in causal pairs in the textual content. Our preliminary results show that predicting direction for inter-sentence and implicit causal relations is more challenging. And, SpanBERT performs better than BERT on causal samples with longer span length. We also introduce CREST which is a framework for unifying a collection of scattered datasets of causal relations.

研究の動機と目的

• テキスト内の因果関係における原因・結果の方向性を予測するためのトランスフォーマー型モデルの能力を評価すること。
• 文間および暗黙的因果関係の方向性予測における課題を特定すること。
• 分散した因果関係データセットを統合する包括的フレームワークを構築し、自然言語処理研究における一貫性と再利用可能性を向上させること。
• 事前学習言語モデルを用いた因果方向性予測のためのベースラインを提供すること。

提案手法

• BERTとSpanBERTを、ESL（明示的で短いスパン）およびPDTB3（暗黙的で長いスパン）という2つの因果関係データセットで微調整する。
• 二値分類ヘッドを用い、スパン1がスパン2を引き起こすか、逆にスパン2がスパン1を引き起こすかを予測する。方向性予測をシーケンスレベル分類タスクとして扱う。
• CREST（包括的スキーマ）を適用し、複数の因果関係データセットのフィールドを共通フォーマットにマッピングすることで、標準化と統合を実現する。
• 訓練／開発／テストセット間のコンテキスト被覆を防ぐため、データ分割戦略を導入してデータ漏洩を回避する。
• スパン境界を示す[unused*]トークンを追加することで、入力表現を調整し、注目機構が関連スパンに集中するように改善する。
• 誤分類例を定性的に分析し、特に文間および暗黙的関係における失敗モードを特定する。

実験結果

リサーチクエスチョン

• RQ1 BERTとSpanBERTは、テキスト内の因果関係の方向性をどの程度正しく予測できるか？
• RQ2 スパン長さや関係タイプ（明示的対比・暗黙的、文内対・文間）といった要因が、モデルの性能にどのように影響するか？
• RQ3 包括的フレームワークは、分散した因果関係データセットの相互運用性と利用可能性を向上させることができるか？
• RQ4 なぜモデルは文間および暗黙的因果関係で困難を示すのか？また、入力表現をどのように改善すればよいか？

主な発見

• SpanBERTは、スパンが長いPDTB3ではBERTを上回り、F1スコア0.86を達成したのに対し、BERTは0.79であった。
• ESLではスパンが短い（1〜2語）ため、BERTはSpanBERTを上回り、F1スコア0.83を記録した。一方、SpanBERTは0.86であった。
• 文間因果関係は分類がより困難であり、モデルは長距離依存関係を捉えることが頻繁に失敗している。
• 暗黙的因果関係は大きな課題を伴い、明示的な因果接続詞がないため、方向性を推論するのがモデルにとって困難である。
• D₂（ESL）では、学習データサイズが限られていることから、モデルの収束問題が観察された。
• CRESTフレームワークは、複数の因果関係データセットを共通スキーマに統合することに成功し、一貫したデータ処理とベンチマークが可能になった。