[論文レビュー] Med-MMHL: A Multi-Modal Dataset for Detecting Human- and LLM-Generated Misinformation in the Medical Domain

Yanshen Sun, Jianfeng He+3 more|arXiv (Cornell University)|Jun 15, 2023

Misinformation and Its Impacts被引用数 11

ひとこと要約

Med-MMHLは、医療分野のマルチモーダル偽情報データセットであり、複数の疾患にわたる人間およびLLM生成の偽コンテンツを含み、文レベル・文書レベル・マルチモーダルレベルのベンチマークを提供します。

ABSTRACT

The pervasive influence of misinformation has far-reaching and detrimental effects on both individuals and society. The COVID-19 pandemic has witnessed an alarming surge in the dissemination of medical misinformation. However, existing datasets pertaining to misinformation predominantly focus on textual information, neglecting the inclusion of visual elements, and tend to center solely on COVID-19-related misinformation, overlooking misinformation surrounding other diseases. Furthermore, the potential of Large Language Models (LLMs), such as the ChatGPT developed in late 2022, in generating misinformation has been overlooked in previous works. To overcome these limitations, we present Med-MMHL, a novel multi-modal misinformation detection dataset in a general medical domain encompassing multiple diseases. Med-MMHL not only incorporates human-generated misinformation but also includes misinformation generated by LLMs like ChatGPT. Our dataset aims to facilitate comprehensive research and development of methodologies for detecting misinformation across diverse diseases and various scenarios, including human and LLM-generated misinformation detection at the sentence, document, and multi-modal levels. To access our dataset and code, visit our GitHub repository: \url{https://github.com/styxsys0927/Med-MMHL}.

研究の動機と目的

• COVID-19を超える複数の疾患を含めることによって、従来の医療偽情報データセットの限界に対処する。
• 視覚データ（画像）を取り入れて、マルチモーダル偽情報検出を可能にする。
• 人間が生成した内容と並べてLLM生成の偽情報（例：ChatGPT）を含める。
• 文レベル・文書レベル・マルチモーダルレベルの偽情報検出のベンチマークを提供する。
• ニュース、ツイート、画像からデータを収集して、疾患を横断した一般化に適した多様なデータセットを作成する。

提案手法

• 権威ある情報源および事実確認サイトから実ニュースおよび偽ニュースを収集し、関連画像とともに実テキスト、人間生成偽テキスト、LLM生成偽テキストを構築する。
• 実記事をChatGPT-3.5風の反対意見文で撹乱してLLM生成の偽情報を模擬し、言語を精練する。
• 実ニュースと偽ニュースに対応するリンク付きツイートを収集してツイートベースのタスクを形成する。
• 偽ニュース・偽主張に対してテキストと関連画像を対になるように揃え、マルチモーダル部分集合を作成する。
• 5つのベンチマークタスク（偽ニュース、LLM偽文、マルチモーダル偽ニュース、偽ツイート、マルチモーダルツイート）を、文・文書・マルチモーダルデータにまたがって定義する。

実験結果

リサーチクエスチョン

• RQ1 複数の疾病にわたって、実ニュースを人間生成およびLLM生成の偽情報と区別するモデルの性能はどの程度か。
• RQ2 医療領域における偽情報検出におけるマルチモーダル情報（画像）の影響は何か。
• RQ3 この領域でLLM生成の偽文はLLM生成の偽ニュースと同程度に検出可能か。
• RQ4 医療コーパス内で、COVID-19を超えて他の疾患に対して偽情報検出の一般化は可能か。
• RQ5 Med-MMHLにおける文・文書・マルチモーダルレベルの偽情報タスクで、さまざまなベースラインの性能はどうなるか。

主な発見

• Transformerベースのベースラインは偽ニュース検出で非-transformer手法を上回るが、クラス不均衡の影響で適合率が高く再現率が低くなる。
• FN-BERTは評価対象のベースラインの中で文書レベルの偽ニュースおよびツイート検出で最高を達成した。
• LLM生成の偽文はLLM生成の偽ニュースより検出が難しく、文レベル検出手法の改善が必要であることを示している。
• マルチモーダルモデル（CLIP、VisualBERT）はマルチモーダル偽ニュース検出タスクで高い性能を示すが、テキストだけの real vs fake のみの場合は限界がある。
• データセットには3,455件の実ニュース記事、469件の人間生成偽ニュース、2,095件のLLM生成偽ニュース、2,283件の実的主張、3,567件の偽主張が含まれ、ツイートとマルチモーダルペアが多数付随している（表2の詳細を参照）。