[論文レビュー] DTCA: Decision Tree-based Co-Attention Networks for Explainable Claim Verification

Lianwei Wu, Yuan Rao+3 more|arXiv (Cornell University)|Apr 28, 2020

Topic Modeling参考文献 42被引用数 10

ひとこと要約

本稿では、説明可能な主張検証を向上させるために、意思決定木に基づく共同注意メカニズム（DTCA）を提案する。この手法は、信頼性の高いコメントを透明に選択し、共同注意機構を用いて主張内の誤り部分を特定する。RumourEvalおよびPHEMEでそれぞれ3.11%および2.41%の性能向上を達成し、F1スコアは最先端水準に到達した。加えて、解釈可能な証拠選択と、誤解を招く主張セグメントに対する細分化された注意を提供する。

ABSTRACT

Recently, many methods discover effective evidence from reliable sources by appropriate neural networks for explainable claim verification, which has been widely recognized. However, in these methods, the discovery process of evidence is nontransparent and unexplained. Simultaneously, the discovered evidence only roughly aims at the interpretability of the whole sequence of claims but insufficient to focus on the false parts of claims. In this paper, we propose a Decision Tree-based Co-Attention model (DTCA) to discover evidence for explainable claim verification. Specifically, we first construct Decision Tree-based Evidence model (DTE) to select comments with high credibility as evidence in a transparent and interpretable way. Then we design Co-attention Self-attention networks (CaSa) to make the selected evidence interact with claims, which is for 1) training DTE to determine the optimal decision thresholds and obtain more powerful evidence; and 2) utilizing the evidence to find the false parts in the claim. Experiments on two public datasets, RumourEval and PHEME, demonstrate that DTCA not only provides explanations for the results of claim verification but also achieves the state-of-the-art performance, boosting the F1-score by 3.11%, 2.41%, respectively.

研究の動機と目的

• 神経ネットワークベースの証拠発見における透明性の欠如に対処すること。
• 信頼性のあるコメントを証拠として選択する明確な意思決定ルールを提供することで、解釈性を向上させること。
• 主張全体の真偽だけでなく、主張内に含まれる誤りや誤解を招くセグメントに焦点を当てる。
• 構造的な意思決定ツリーと深層ニューラル注意機構を組み合わせ、証拠選択と誤り部分の特定の両方を実現すること。
• 解釈可能性を維持しつつ、主張検証における最先端の性能を達成すること。

提案手法

• 構造的かつ階層的なコメントを用いて、内容およびメタデータに基づく条件から導かれる意思決定条件を用いて、意思決定ツリーに基づく証拠（DTE）モデルを構築する。
• DTEモデルは、意味的類似度（0.40–0.49）、レビュアーの信頼性（>0.66）、コメントの信頼性（>0.62）といった複数の基準を用いて、証拠を絞り込み、順位付けする。
• 共同注意自己注意ネットワーク（CaSa）により、選択された証拠と主張との間で深い意味的相互作用を実現し、主張内の誤りまたは疑わしいコンponentsに焦点を当てる。
• CaSaは二重の役割を果たす：(1) DTEの最適化を図り、フィードバックによって意思決定の閾値を調整する。 (2) 注意重みを用いて主張内の誤解を招くキーワードを特定する。
• フレームワークは共同最適化され、DTEとCaSaが同時に学習することで、証拠の質と誤り部分の検出精度が向上する。
• 意思決定ツリー内の明確な意思決定パスにより、証拠選択が解釈可能となり、注意マップにより主張およびコメント内の関連性の高い語が可視化される。

実験結果

リサーチクエスチョン

• RQ1 意思決定ツリーに基づくアプローチは、主張検証における透明で解釈可能な証拠選択を提供できるか？
• RQ2 選択された証拠を用いて、共同注意機構は主張内の誤りや誤解を招く部分をどれほど効果的に特定できるか？
• RQ3 構造的な意思決定ルールとニューラル注意機構を統合することで、主張検証における性能と解釈可能性が向上するか？
• RQ4 異なる数の支援コメントを伴う主張に対して、モデルはどの程度の性能を示すか？
• RQ5 モデルの注意機構は、意味的に関連する証拠および誤った主張セグメントをどの程度正確に強調できるか？

主な発見

• DTCAは最先端の性能を達成し、RumourEvalではF1スコアが前例に比べ3.11%向上、PHEMEでは2.41%向上した。
• モデルは共同注意機構による高い注意重みを用いて、『おそらくムスリム』や『イスラム主義者ではない』といった誤りまたは誤解を招く主張セグメントを効果的に特定・強調した。
• DTEが選択した証拠は、一貫して意味的類似度（0.40–0.49）、レビュアーの信頼性（>0.66）、コメントの信頼性（>0.62）を示しており、選択プロセスの信頼性が裏付けられた。
• 8個以上のコメントを伴う主張では、DTCAはRumourEvalで79.34%、PHEMEで79.68%のF1スコアを達成し、8個未満の主張よりも顕著に優れた性能を示した。
• 誤り分析の結果、8個未満のコメントを伴う主張では性能が低下しており、RumourEvalでは少なくとも4.92%、PHEMEでは3.10%の精度低下が確認された。これはコメント数に依存する傾向があることを示している。
• 視覚化された注意マップは、『フェイクフラグ』や『その結論に至る根拠は？』、『週刊チャーリー・ヘブド』といった意味的に重要な語にモデルが焦点を当てており、関連する背景知識と結びついていることを確認した。