[論文レビュー] Real-time Claim Detection from News Articles and Retrieval of Semantically-Similar Factchecks

Ben Adler, Giacomo Boscaini-Gilroy|arXiv (Cornell University)|Jul 3, 2019

Topic Modeling参考文献 14被引用数 6

ひとこと要約

本稿では、文脈的文埋め込みと動的クラスタリングを用いて、ニュース記事内の主張をリアルタイムで検出するとともに、意味的に類似した事前に検証済みの主張を検索するシステムを提案する。高精度な主張埋め込みのためにGoogleのUniversal Sentence Encoder Largeを活用し、DBScanとLouvainコミュニティ検出法を組み合わせて、コンactでスケーラブルなクラスタを構築することで、1主張あたり約300msの低遅延で効率的な検索を実現した。

ABSTRACT

Factchecking has always been a part of the journalistic process. However with newsroom budgets shrinking it is coming under increasing pressure just as the amount of false information circulating is on the rise. We therefore propose a method to increase the efficiency of the factchecking process, using the latest developments in Natural Language Processing (NLP). This method allows us to compare incoming claims to an existing corpus and return similar, factchecked, claims in a live system-allowing factcheckers to work simultaneously without duplicating their work.

研究の動機と目的

• 予算制約下でのニュースルームにおける事実確認プロセスの自動化とスケーラビリティを高めるために、誤情報拡散の増加に取り組む。
• 手動での監視や作業の重複に依存せず、ニュース記事内の主張を自動で検出することを目的とする。
• 事前に検証済みの類似主張を検索し、既存の事実確認作業を再利用可能にする。
• 文脈的埋め込みと動的クラスタリングを用いて、スケーラブルでリアルタイムな主張クラスタリングシステムを構築すること。
• 最先端のNLP技術を活用して、事実確認の効率を高め、コストを削減すること。

提案手法

• 主張検出のためのラベル付きデータセット作成のために、PolitiTaxとFull Factの主張定義を組み合わせた。
• 主張埋め込みの主なモデルとしてGoogleのUniversal Sentence Encoder Large (USE Large)を採用し、クラスタリング精度とカバレッジにおいてTF-IDFやInferSentを上回った。
• 主張を密度の高いベクトル空間に埋め込み、最小クラスタサイズを1に設定したDBScanを用いて、動的でインクリメンタルなクラスタリングを実現した。
• クラスタのcompactさを向上させ、誤った接続を回避するため、主張類似性のグラフに対してLouvainコミュニティ検出アルゴリズムを適用した。
• クラスタサイズにかかわらず、1主張あたり約300msの遅延を維持する最適化された計算を用いて、リアルタイムでの主張挿入をサポートした。
• 正例主張の適合度、主張クラスタの適合度、主張数を組み合わせた式を用いて、クラスタリング品質を評価した。

実験結果

リサーチクエスチョン

• RQ1 文脈的文埋め込みは、ニュース記事内のリアルタイム主張検出および検索に有効に主張を表現できるか？
• RQ2 動的でリアルタイムな環境下において、主張クラスタリングをどのようにスケーラブルかつ効率的に実現できるか？
• RQ3 異なる埋め込みモデル（例：TF-IDF、InferSent、USE Large）は、クラスタリング精度とカバレッジにどのような影響を及ぼすか？
• RQ4 密度ベースのクラスタリング（例：DBScan）と組み合わせたグラフベースのコミュニティ検出は、クラスタ品質を向上させられるか？
• RQ5 事前に検証済みの主張は、意味的に類似した新しい主張に対してどの程度再利用可能か？

主な発見

• GoogleのUniversal Sentence Encoder Largeは、クラスタリング精度と主張カバレッジにおいてTF-IDFやInferSentを上回り、本タスクにおける最適な埋め込みとして最適であった。
• TF-IDFは予備的なベースラインとして驚くほど良好に機能したが、ニューラル埋め込みに比べて適合度と再現度の両面で劣った。
• DBScanとLouvainコミュニティ検出法の組み合わせにより、クラスタのcompactさが著しく向上し、断片化が減少した。
• システムは、既存の主張数が増加しても、1主張あたり約300msの一定した遅延を維持した。
• 評価式の結果、USE Largeに基づくクラスタリングが最高スコアを記録し、正解の記事クラスタと強い整合性を示した。
• 本手法により、事実確認担当者は、意味的に類似した新しい主張に対して、既存の事実確認を効率的に検索・再利用でき、重複作業を削減できるようになった。