[論文レビュー] Unified Dual-view Cognitive Model for Interpretable Claim Verification

Lianwei Wu, Yuan Rao+3 more|arXiv (Cornell University)|May 20, 2021

Topic Modeling参考文献 29被引用数 5

ひとこと要約

本稿では、解釈可能性のある主張検証のための統一的二重視点認知モデル（CICD）を提案する。このモデルは、集団的認知と個別的認知の両方の視点を統合し、階層的エンコーダ・デコーダモジュールを用いてグローバルな証拠を生成するとともに、トップ-kの多様な記事選択と相互作用を用いてローカルなキーエビデンス断片を抽出する。不一致損失を導入することで、グローバル証拠とローカル証拠を一致させ、バイアスを抑制し、3つのベンチマークデータセットにおいて、検証精度と解釈可能性が顕著に向上する。

ABSTRACT

Recent studies constructing direct interactions between the claim and each single user response (a comment or a relevant article) to capture evidence have shown remarkable success in interpretable claim verification. Owing to different single responses convey different cognition of individual users (i.e., audiences), the captured evidence belongs to the perspective of individual cognition. However, individuals' cognition of social things is not always able to truly reflect the objective. There may be one-sided or biased semantics in their opinions on a claim. The captured evidence correspondingly contains some unobjective and biased evidence fragments, deteriorating task performance. In this paper, we propose a Dual-view model based on the views of Collective and Individual Cognition (CICD) for interpretable claim verification. From the view of the collective cognition, we not only capture the word-level semantics based on individual users, but also focus on sentence-level semantics (i.e., the overall responses) among all users and adjust the proportion between them to generate global evidence. From the view of individual cognition, we select the top-$k$ articles with high degree of difference and interact with the claim to explore the local key evidence fragments. To weaken the bias of individual cognition-view evidence, we devise inconsistent loss to suppress the divergence between global and local evidence for strengthening the consistent shared evidence between the both. Experiments on three benchmark datasets confirm that CICD achieves state-of-the-art performance.

研究の動機と目的

• 既存の解釈可能性のある主張検証モデルが個別的ユーザー反応に依存していることによる制限、ならびに認知バイアスや非客観的証拠の導入を是正すること。
• 全回答の全体的なユーザー感情とグローバルな意味構造を捉える集団的認知を、個別的認知と統合し、証拠の質を向上させること。
• グローバルおよびローカルな証拠を同時に生成する統一フレームワークを構築し、両者の一貫性を保証することで、誤解を招く解釈を低減すること。
• 集団的および個別的視点間で共有され、一貫性のある証拠断片を明示的に強調することで、モデルの解釈可能性を向上させること。
• 新しい不一致損失機構を用いて、バイアスの強いまたは一方的すぎる個別的反応の影響を証拠抽出段階で低減すること。

提案手法

• 集団的認知視点に基づくエンコーダ・デコーダモジュール（CED）を設計し、個別的反応からの単語レベルの意味と、全反応にわたる文レベルの意味を捉えることで、グローバル証拠を生成する。
• CEDに内蔵された階層的アテンションデコーダは、個別的および集団的意味の寄与を動的にバランスさせ、一貫性のあるグローバル証拠シーケンスを生成する。
• 個別的認知視点に基づく選択的相互作用モジュール（ISI）は、意味的多様性に基づいてトップ-kの最も相違性の高い記事を選択し、それらを主張と相互作用させることで、ローカルキーエビデンス断片を抽出する。
• モデルは、グローバル証拠とローカル証拠表現の乖離をペナルティ化する新しい不一致損失関数を採用し、一致を促進しバイアスを低減する。
• エンド・ツー・エンドの学習により、証拠生成と検証を同時に最適化し、解釈可能な注目マップと強調表示を可能にする。
• モデルは3つのベンチマークデータセット（FEVER、SciFact、MultiFC）で評価され、堅牢性と一般化性能が確認された。

実験結果

リサーチクエスチョン

• RQ1 集団的認知と個別的認知の視点を統合することで、主張検証における証拠の信頼性と解釈可能性を向上させられるか？
• RQ2 集約されたユーザー反応から得られるグローバル証拠を、意味的構造を保持したまま効果的に生成できるか？
• RQ3 多様な個別的反応からのローカル証拠断片をどれほど効果的に選択・統合できるか、それが検証性能の向上に寄与するか？
• RQ4 グローバル証拠とローカル証拠の不一致をペナルティ化する損失関数が、バイアスを低減し、モデルの頑健性を向上させられるか？
• RQ5 統一的二重視点フレームワークは、精度と解釈可能性の両面で、既存の最先端モデルを上回るか？

主な発見

• CICDはFEVERベンチマークで最先端の性能を達成し、パイプラインモデル（NSMNおよびHAN）を4.3%から11.0%の範囲で精度で上回った。
• FEVERデータセットでは、CICDがグラフベースのモデル（GEARおよびKGAT）と比較して、開発セットで少なくとも1.8%、テストセットで1.5%の精度向上を達成した。
• SciFactデータセットでは、前回の最先端モデルよりF1スコアで1.2%向上し、ドメインをまたがる強力な一般化性能を示した。
• MultiFCデータセットでは、最も強力なベースラインよりF1スコアが0.9%高く、マルチソース証拠検証における有効性を確認した。
• 事例研究により、CICDが個別的認知によって捉えられがちな誤解を招く証拠断片（例：「この動画スクリーンショットは」）を効果的に抑制し、一貫性があり顕著な証拠（例：「スクリーンショットは一方的である」）を強調していることが確認された。
• 不一致損失は、グローバル証拠とローカル証拠の乖離を効果的に低減し、より信頼性が高く解釈可能な検証結果をもたらした。