[論文レビュー] Towards Automatic Detection of Misinformation in Online Medical Videos

Rui Hou, Verónica Pérez‐Rosas+2 more|arXiv (Cornell University)|Sep 4, 2019

Misinformation and Its Impacts参考文献 30被引用数 9

ひとこと要約

本稿では、YouTube からの前立腺がん関連動画を対象に、オンライン医療動画における誤情報の自動検出を目的としたマルチモーダルアプローチを提案する。250本の手動でアノテートされた動画から構成される新規データセットを構築し、言語的特徴、音声的特徴、ユーザー参加度特徴を統合することで、誤情報コンテンツの分類に74%の精度を達成。これは多数クラスベースラインを著しく上回る結果である。

ABSTRACT

Recent years have witnessed a significant increase in the online sharing of medical information, with videos representing a large fraction of such online sources. Previous studies have however shown that more than half of the health-related videos on platforms such as YouTube contain misleading information and biases. Hence, it is crucial to build computational tools that can help evaluate the quality of these videos so that users can obtain accurate information to help inform their decisions. In this study, we focus on the automatic detection of misinformation in YouTube videos. We select prostate cancer videos as our entry point to tackle this problem. The contribution of this paper is twofold. First, we introduce a new dataset consisting of 250 videos related to prostate cancer manually annotated for misinformation. Second, we explore the use of linguistic, acoustic, and user engagement features for the development of classification models to identify misinformation. Using a series of ablation experiments, we show that we can build automatic models with accuracies of up to 74%, corresponding to a 76.5% precision and 73.2% recall for misinformative instances.

研究の動機と目的

• YouTube における医療動画の誤情報拡散という深刻な問題に対処し、ユーザーの誤解を招き、健康状態に悪影響を及えるおそれがあること。
• 医療専門家による手動レビューに依存せず、誤情報を自動で検出できる計算的手法の開発。
• 今後の研究を支援するため、前立腺がん関連のYouTube動画250本を手動でアノテートした、高品質な新規データセットの構築。
• 言語的、音声的、ユーザー参加度特徴の有効性を、誤情報と信頼できる医療コンテンツの区別にどう活かせるかの検証。
• 単一モダリティアプローチに比べ、マルチモーダル統合戦略が誤情報検出精度をどのように向上させるかの評価。

提案手法

• 特定の検索キーワードを用いて、前立腺がんに関するYouTube動画を収集し、コンテンツタイプや発話者の背景に多様性を確保したデータセットを構築。
• 医療専門家による手動アノテーションを通じて、各動画を臨床的正確性とバイアスの有無に基づき「信頼できる」とか「誤情報」として分類。
• 自然言語処理（NLP）技術を用いて、トランスクリプトされた動画内容から語彙的、構文的、感情に基づく特徴を抽出。
• 音声信号から、発話速度、ピッチ、エネルギーなどの音声的特徴を抽出し、誤情報に関連する声の特徴を捉える。
• 視聴回数、いいね数、コメント数、動画長さなどのユーザー参加度特徴を収集し、視聴者の反応パターンを分析。
• 早期統合を用いてマルチモーダル信号を統合し、サポートベクターマシン（SVM）を個々の特徴集合および統合特徴集合に対して訓練。

実験結果

リサーチクエスチョン

• RQ1 言語的、音声的、ユーザー参加度特徴を統合したマルチモーダルアプローチは、オンライン医療動画における誤情報検出に有効に機能するか？
• RQ2 個々のモダリティ（言語的、音声的、参加度）の性能は、マルチモーダル統合戦略に比べてどう異なるか？
• RQ3 ユーザー参加度メトリクスを含めることで、誤情報医療コンテンツの検出性能はどの程度向上するか？
• RQ4 提案モデルの性能は、多数クラスベースラインに比べてどの程度優れているか？
• RQ5 アニメーションやボイスオーバー動画など、多様な誤情報パターンを捉えるために、現在のデータ収集およびアノテーション手法にどのような限界があるか？

主な発見

• マルチモーダルモデルは74%の分類精度を達成し、多数クラスベースラインに比べて誤差率が55%削減された。
• 誤情報動画の検出において、76.5%の適合率（precision）と73.2%の再現率（recall）を達成し、陽性例に対する高い性能を示した。
• 言語的特徴は単独でも強力な識別力を持ち、感情表現や簡略化された医学用語といった兆候を捉えていた。
• 音声的特徴も有意に寄与し、高いピッチや速い発話速度といった声の特徴が誤情報コンテンツと関連していた。
• ユーザー参加度特徴、特に高評価率（いいね/視聴回数比）は誤情報コンテンツと相関していたことから、操作的行動の兆候としての有効性が示された。
• 3つのモダリティを統合的にモデル化した結果、個々のモダリティモデルを上回る性能を示し、誤情報検出におけるマルチモーダル統合の利点が裏付けられた。