[論文レビュー] Reasoning Over Semantic-Level Graph for Fact Checking

Wanjun Zhong, Jingjing Xu+6 more|arXiv (Cornell University)|Sep 9, 2019

Topic Modeling参考文献 35被引用数 19

ひとこと要約

本稿では、証拠文から意味的役割ラベリング（SRL）を用いて意味レベルのグラフを構築し、XLNetなどの事前学習モデル内のグラフ構造表現を活用することで、主張検証の性能を向上させるグラフベースの推論フレームワークを提案する。語の距離を再定義し、グラフ畳み込みおよび注意ネットワークを適用することで、FEVERベンチマークにおいて最先端の性能を達成し、主張検証の正確性およびFEVERスコアの両面で先行手法を上回った。

ABSTRACT

Fact checking is a challenging task because verifying the truthfulness of a claim requires reasoning about multiple retrievable evidence. In this work, we present a method suitable for reasoning about the semantic-level structure of evidence. Unlike most previous works, which typically represent evidence sentences with either string concatenation or fusing the features of isolated evidence sentences, our approach operates on rich semantic structures of evidence obtained by semantic role labeling. We propose two mechanisms to exploit the structure of evidence while leveraging the advances of pre-trained models like BERT, GPT or XLNet. Specifically, using XLNet as the backbone, we first utilize the graph structure to re-define the relative distances of words, with the intuition that semantically related words should have short distances. Then, we adopt graph convolutional network and graph attention network to propagate and aggregate information from neighboring nodes on the graph. We evaluate our system on FEVER, a benchmark dataset for fact checking, and find that rich structural information is helpful and both our graph-based mechanisms improve the accuracy. Our model is the state-of-the-art system in terms of both official evaluation metrics, namely claim verification accuracy and FEVER score.

研究の動機と目的

• 複数の証拠文間の豊かな意味的構造を捉えられていない既存の事実検証手法の限界を是正すること。
• 証拠文内の主張の意味的関係を構造的グラフでモデル化することで、主張検証の性能を向上させること。
• XLNetのような強力な事前学習言語モデルとグラフベースの推論を統合し、文脈に適した表現学習を強化すること。
• SRLから導出されるグラフからの構造的情報が、ベンチマークデータセットにおける事実検証の性能を向上させることを実証すること。

提案手法

• 意味的役割ラベリング（SRL）を用いて、各証拠文に対して意味レベルのグラフを構築する。ここでは、主語・目的語などの引数とそれらを支配する述語がノードとなり、それらの関係がエッジを形成する。
• グラフのトポロジーに基づいてXLNetにおける相対的位置エンコーディングを再定義し、意味的に関連する語同士が短い有効距離を持つように保証する。
• グラフ畳み込みネットワーク（GCN）を適用し、意味グラフ内の接続されたノード間で表現を伝搬および集約する。
• グラフ注意ネットワーク（GAT）を統合し、表現学習の過程で隣接ノードの重要性を動的に重みづける。
• XLNetからの文脈的単語埋め込みと、グラフ強化された表現を組み合わせ、洗練された文レベルの表現を生成する。
• 最終的な洗練された表現を用いて、主張を「SUPPORTED」「REFUTED」「NOT ENOUGH INFO」のいずれかに分類するエンドツーエンドの分類処理を実行する。

実験結果

リサーチクエスチョン

• RQ1 SRLを用いて証拠文の意味的構造をモデル化することで、文字列連結や特徴融合と比較して、事実検証の性能が向上するか？
• RQ2 XLNetのような事前学習モデルにグラフベースの相対的距離を組み込むことで、事実検証の文脈的表現学習にどのような影響を与えるか？
• RQ3 グラフ畳み込みおよびグラフ注意機構が、主張検証における証拠グラフの推論をどの程度向上させるか？
• RQ4 事前学習言語モデルとグラフ構造的推論を統合することで、FEVERベンチマークで最先端の性能が達成できるか？

主な発見

• 提案されたグラフベースの推論アプローチは、FEVERベンチマークで最先端の性能を達成し、主張検証の正確性およびFEVERスコアの両面で先行手法を上回った。
• アブレーションスタディの結果、グラフに特化したモジュール（グラフに配慮した相対的距離とグラフ伝搬）が性能向上に寄与していることが確認された。
• SRLを用いて意味グラフを構築することで、複雑な推論チェーン（例：複数の証拠文を跨いで「ロサンゼルス郡」を「米国で最も人口の多い郡」と結びつける）をモデルが捉えることができるようになった。
• 誤解を招く証拠（例：2014年のフィリピン映画）が誤った予測を引き起こす可能性がある状況でも、構造的推論を活用することで正しく処理できるようになった。
• ケーススタディを通じて、XLNetとグラフ構造の統合が、マルチホップ証拠の推論能力を顕著に向上させることを実証した。
• 提出時における公開FEVERリーダーボードでは、最終システムが最も高い性能を記録し、グラフ駆動型表現学習が事実検証において有効であることを裏付けた。