[論文レビュー] TruthBot: An Automated Conversational Tool for Intent Learning, Curated Information Presenting, and Fake News Alerting

Ankur Gupta, Yash Varun+6 more|arXiv (Cornell University)|Jan 31, 2021

Misinformation and Its Impacts参考文献 20被引用数 9

ひとこと要約

TruthBot は、トピック固有の真実追求を目的として、意図学習、キュレート済みの知識取得、フェイクニュース検出を統合した、多言語対応で意図に配慮した会話型チャットボットである。深層ニューラルネットワークを用いて、ユーザーの質問を FAQ、フェイクニュース、一般、地域固有の統計の4つの意図クラスに分類し、それぞれに特化したモジュールにルーティングすることで、キュレート済みデータベースやウェブ検索から正確で検証済みの情報を取得する。これにより、IFCNチャットボットなどの既存システムよりも顕著に高い応答精度とユーザー満足度を達成した。

ABSTRACT

We present TruthBot, an all-in-one multilingual conversational chatbot designed for seeking truth (trustworthy and verified information) on specific topics. It helps users to obtain information specific to certain topics, fact-check information, and get recent news. The chatbot learns the intent of a query by training a deep neural network from the data of the previous intents and responds appropriately when it classifies the intent in one of the classes above. Each class is implemented as a separate module that uses either its own curated knowledge-base or searches the web to obtain the correct information. The topic of the chatbot is currently set to COVID-19. However, the bot can be easily customized to any topic-specific responses. Our experimental results show that each module performs significantly better than its closest competitor, which is verified both quantitatively and through several user-based surveys in multiple languages. TruthBot has been deployed in June 2020 and is currently running.

研究の動機と目的

• COVID-19 パニックのような危機時におけるソーシャルメディア上の誤情報拡散問題に対処し、信頼できる情報の単一で信頼性の高いソースを提供すること。
• 手動入力やアプリ切り替えを要する既存の事実確認ツールの限界を克服し、ユーザー参加度と効果性を向上させること。
• FAQ、フェイクニュース検証、一般質問、地域固有統計の複数のクエリタイプを1つの会話インターフェース内でサポートする包括的な真実追求システムを設計すること。
• 意図分類とモジュラーで文脈に配慮した情報取得を統合することで、複数言語におけるユーザー満足度と応答精度を向上させること。
• 専門的で特定目的に特化した代替手段と比較して、包括的でワンストップのチャットボットが真実追求に実現可能で優れていることを実証すること。

提案手法

• TruthBot は、ユーザーの質問を 4 つの意図クラス（FAQ、フェイクニュース（FAKE）、一般質問（GEN）、地域固有統計（AREASTAT））のいずれかに分類するための深層ニューラルネットワークを採用している。
• 各意図クラスは専用モジュールを起動する：FAQ はキュレート済みの知識ベースを使用し、FAKE は事実確認データベースを活用し、GEN は Google を介したウェブ検索を実施し、AREASTAT は構造化されたソースから地域固有のデータを取得する。
• 意図の信頼度が低い場合、システムはユーザーの意図を明確にするためにフォローアップ会話を開始し、適切なモジュールにルーティングする。
• モジュールにはフォールバックロジックが組み込まれており、FAQ モジュールの失敗時には自動的に事実確認またはウェブ検索モジュールに切り替わる。
• 応答の関連性と正確性を、正解応答との比較でテキスト類似度メトリクス（例：BLEU、ROUGE）を用いて評価している。
• ユーザー評価では、満足度、使いやすさ、信頼性、正確性、価値に関するアンケートを実施し、t 検定を用いて統計的有意性を検証している。

実験結果

リサーチクエスチョン

• RQ1 1 つの会話型 AI システムが、FAQ、フェイクニュース検証、一般質問、地域固有統計の多様な真実追求クエリを統合的なフレームワーク内で効果的に処理できるか。
• RQ2 IFCN などの既存の事実確認チャットボットと比較して、TruthBot の応答精度とユーザー満足度が、複数のクエリタイプにおいてどの程度優れているか。
• RQ3 信頼度に基づく明確化による意図分類が、多言語的で現実世界の状況において、応答の信頼性と関連性をどの程度向上させるか。
• RQ4 ユーザーは、既存のチャットボットと比較して、TruthBot のインターフェースを有用性、使いやすさ、信頼性、正確性、総合的価値の観点でどの程度高く評価するか。
• RQ5 モジュラーで意図駆動のアーキテクチャは、外部システムへの依存を減らしつつ、低遅延と高い信頼性を維持できるか。

主な発見

• フェイクニュースクエリにおいて、TruthBot の応答精度は 0.74 を達成し、IFCN チャットボットの 0.56 より顕著に優れており、p 値 < 0.001 で統計的有意性が確認された。
• 一般質問では、TruthBot の応答精度が IFCN より 68.2% 高く、FAQ では 35.64% 高く、情報取得と関連性の優位性が裏付けられた。
• ユーザー満足度アンケートでは、TruthBot は AREASTAT、FAQ、GEN クエリで中央値 5 を記録したが、IFCN は中央値 2 であった。p 値 < 0.001 で有意であった。
• フェイクニュースクエリにおいて、TruthBot のユーザー満足度中央値は 4 であり、IFCN の 3 を上回り、明確さと認識される信頼性の高さが示された。
• ユーザーインターフェース評価では、TruthBot の平均評価は IFCN より有用性と正確性で 2 倍高く、すべての p 値 < 0.00001 で統計的有意性が確認された。
• システムは複数言語とクエリタイプにわたり、堅実なパフォーマンスを示し、危機的状況における真実追求の包括的でスケーラブルなソリューションとしての設計の妥当性が裏付けられた。