[論文レビュー] UKP-Athene: Multi-Sentence Textual Entailment for Claim Verification

Andreas Hanselowski, Hao Zhang+5 more|arXiv (Cornell University)|Sep 3, 2018

Topic Modeling参考文献 9被引用数 11

ひとこと要約

本稿では、複数文における含意を扱う強化されたESIMモデルと、エンティティリンクを用いたドキュメント検索を統合した、主張検証パイプラインであるUKP-Atheneを提示する。このシステムはFEVER 2018の共有タスクで3位を達成し、開発セットで64.74%のFEVERスコアを記録し、ベースラインを著しく上回った。エンティティリンクによるドキュメント検索と、注意メカニズムを備えたESIM拡張による文の順序付けと含意分類が統合された結果、高い性能を達成した。

ABSTRACT

The Fact Extraction and VERification (FEVER) shared task was launched to support the development of systems able to verify claims by extracting supporting or refuting facts from raw text. The shared task organizers provide a large-scale dataset for the consecutive steps involved in claim verification, in particular, document retrieval, fact extraction, and claim classification. In this paper, we present our claim verification pipeline approach, which, according to the preliminary results, scored third in the shared task, out of 23 competing systems. For the document retrieval, we implemented a new entity linking approach. In order to be able to rank candidate facts and classify a claim on the basis of several selected facts, we introduce two extensions to the Enhanced LSTM (ESIM).

研究の動機と目的

• Wikipediaからの証拠を用いた自動的主張検証のための堅牢なパイプラインの開発。
• 構文解析とルールベースのマッチングを用いてエンティティリンクタスクとして定式化することで、ドキュメント検索の改善。
• 関連する証拠文を順序付けるために拡張されたESIMモデルを用いて、文の選択を強化。
• 複数の支持的または反証的根拠に基づいて、主張を同時に分類可能なようにESIMを変更し、複数文テキスト含意を可能に。
• 統合的でエンドツーエンドの主張検証により、FEVER共有タスクで最先端の性能を達成。

提案手法

• 主張からエンティティの表記を抽出し、Wikipediaの記事タイトルにマッチングするため、構文解析を用いたルールベースのエンティティリンクシステムを実装。
• 取得したドキュメントから関連する証拠文を特定するため、強化された逐次推論モデル（ESIM）に基づく文順序付けモデルを開発。
• 複数の入力文と主張を同時に処理できるように、ESIMに注意メカニズムを拡張し、複数文テキスト含意を可能に。
• 主張および証拠文の文脈的符号化に双方向LSTMを用い、その後、注意プーリングと最大/平均プーリングを適用して表現学習を実施。
• ドキュメント検索、文の選択、含意分類の3つのサブモジュールを統合し、主張検証のためのエンドツーエンドパイプラインを構築。
• 事前学習済み埋め込み（GloVe/FastText）を用い、FEVERデータセットで微調整し、開発セットでのハイパーパrameter最適化を実施。

実験結果

リサーチクエスチョン

• RQ1 エンティティリンクを効果的に応用することで、主張検証システムにおけるドキュメント検索をどのように改善できるか？
• RQ2 拡張されたESIMモデルは、取得したWikipedia記事からの文の順序付けと証拠選択をどのように向上させられるか？
• RQ3 複数の事実が利用可能な状況で、正確な主張分類を支援するため、複数文テキスト含意をどのようにモデル化できるか？
• RQ4 注意メカニズムは、主張検証における複数の証拠文統合にどのような影響を及えるか？
• RQ5 パイプラインベースのアプローチは、FEVER共有タスクにおけるベースラインシステムをどの程度上回ることができるか？

主な発見

• エンティティリンクを活用したドキュメント検索システムは93.55%の正確度を達成し、ベースラインの70.20%と比べ顕著な向上を示した。
• 文順序付けモデルにより、リcallが44.22%（ベースライン）から87.10%に向上し、強力な証拠文抽出能力を示した。
• 複数文含意モデルは68.49%のラベル正確度を達成し、ベースラインの52.09%と比べ顕著な向上を示した。
• 完全なパイプラインシステムはFEVER評価指標で64.74%のスコアを記録し、ベースラインの32.27%をはるかに上回った。
• 誤差解析の結果、数値推論とコアリファレンス解決が、特に反証済みおよび情報不足の主張において主な課題であることが判明した。
• ドキュメント検索の失敗の主な原因は、スペルミス、エンティティの表記の欠落、記事タイトルの曖昧さであった。