[論文レビュー] Entity-based Claim Representation Improves Fact-Checking of Medical Content in Tweets

Amelie Wührl, Roman Klinger|arXiv (Cornell University)|Sep 16, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、ユーザー生成コンテンツからキーモデルを抽出・要約することで、ツイートにおける医療的主張の事実確認を改善するエンティティベースの主張表現手法を提案する。このアプローチにより、曖昧で複雑なツイートを、標準データセットに類似した簡潔で構造化された主張に変換することで、従来の事実確認モデルの性能を向上させ、直接的なツイート分析と比較してより信頼性の高い判断が得られる。

ABSTRACT

False medical information on social media poses harm to people's health. While the need for biomedical fact-checking has been recognized in recent years, user-generated medical content has received comparably little attention. At the same time, models for other text genres might not be reusable, because the claims they have been trained with are substantially different. For instance, claims in the SciFact dataset are short and focused: "Side effects associated with antidepressants increases risk of stroke". In contrast, social media holds naturally-occurring claims, often embedded in additional context: "`If you take antidepressants like SSRIs, you could be at risk of a condition called serotonin syndrome' Serotonin syndrome nearly killed me in 2010. Had symptoms of stroke and seizure." This showcases the mismatch between real-world medical claims and the input that existing fact-checking systems expect. To make user-generated content checkable by existing models, we propose to reformulate the social-media input in such a way that the resulting claim mimics the claim characteristics in established datasets. To accomplish this, our method condenses the claim with the help of relational entity information and either compiles the claim out of an entity-relation-entity triple or extracts the shortest phrase that contains these elements. We show that the reformulated input improves the performance of various fact-checking models as opposed to checking the tweet text in its entirety.

研究の動機と目的

• 現実世界のユーザー生成医療主張（ツイッター上）と、既存の事実確認モデルが想定する構造的・原子的主張との間の不一致を是正すること。
• ソーシャルメディアにおける自然に発生する複雑で曖昧な医療的主張の事実確認の信頼性を向上させること。
• 非構造的で文脈豊かなツイートを、市販の事実確認アーキテクチャに適した、要約されたエンティティベースの主張表現に変換する手法を開発すること。
• 元のツイートを直接分析するのと比較して、このような再表現がモデル性能を向上させるかどうかを評価すること。

提案手法

• 事前学習済みのNERおよび関係抽出モデルを用いて、ツイート内のキーエンティティと関係を同定する。
• テキスト内で最も顕著なエンティティとその関係から、エンティティ-関係-エンティティの三項対を構成することで、主張表現を構築する。
• 識別されたエンティティと関係を含む最短のフレーズを抽出し、最小限で自己完結的な主張を形成する。
• 再表現された主張を、MultiVerSなどの既存の事実確認モデルに供給し、真偽を予測する。
• 主張の核心的意味内容は、エンティティとその関係構造に要約されていると仮定する。
• モデルが全ツイートとエンティティベースの要約主張を用いた場合の判断を比較することで、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 エンティティベースの主張表現は、ユーザー生成医療コンテンツの事実確認モデルの性能を向上させることができるか？
• RQ2 エンティティと関係に基づく主張要約は、全ツイートの直接的事実確認と比較して、予測精度においてどのように異なるか？
• RQ3 再表現プロセスは、元の主張の意味内容をどの程度保持しており、誤解を招くような歪みを避けることができるか？
• RQ4 因果的または複雑な関係的文の主張を含む、さまざまな種類の医療的主張に一般化可能か？
• RQ5 証拠が曖昧で、直接の記述を超えた推論を要する状況において、このアプローチはどの程度頑健か？

主な発見

• 事実確認モデルは、全ツイートを直接分析するのと比較して、エンティティベースの主張表現を用いることでより信頼性の高い結果を得られる。
• 全ツイートで誤った判断が下された72%の事例において、要約された主張を用いることで正しい予測が得られた。
• 20件の事例で、要約による主張変換により、正解（ゴールド）の判断から「証拠不足（NEI）」に変化したことが判明し、要約過程における証拠損失の潜在的リスクが示された。
• mRNAワクチンの長期的安全性を推論するような、直接的証拠を超えた推論を要する主張に対しても、適切に解釈された証拠があれば、要約された主張でも正しく判断が下された。
• 特に複雑または文脈に富んだツイートにおいて、主張の核心構造に焦点を当てることで、曖昧さが軽減され、モデル性能が向上した。
• 個人の健康体験を含む感情的で長大な物語に埋め込まれた主張に対しても、このアプローチは有効であることが、例示によって示された。