[論文レビュー] Scope of Pre-trained Language Models for Detecting Conflicting Health Information

Joseph Gatto, Madhusudan Basak+1 more|arXiv (Cornell University)|Sep 22, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、事前学習された言語モデルを用いた健康的対立検出（HCD）を紹介し、限られた実世界のHCDデータセットを拡張するためのヒューマンインザループ型の合成データ拡張手法を提案する。DeBERTa-v3は平均F1スコア0.68を達成し、多様な対立タイプにわたるモデルの一般化性能が向上した。拡張されたデータセットはGitHubで公開されている。

ABSTRACT

An increasing number of people now rely on online platforms to meet their health information needs. Thus identifying inconsistent or conflicting textual health information has become a safety-critical task. Health advice data poses a unique challenge where information that is accurate in the context of one diagnosis can be conflicting in the context of another. For example, people suffering from diabetes and hypertension often receive conflicting health advice on diet. This motivates the need for technologies which can provide contextualized, user-specific health advice. A crucial step towards contextualized advice is the ability to compare health advice statements and detect if and how they are conflicting. This is the task of health conflict detection (HCD). Given two pieces of health advice, the goal of HCD is to detect and categorize the type of conflict. It is a challenging task, as (i) automatically identifying and categorizing conflicts requires a deeper understanding of the semantics of the text, and (ii) the amount of available data is quite limited. In this study, we are the first to explore HCD in the context of pre-trained language models. We find that DeBERTa-v3 performs best with a mean F1 score of 0.68 across all experiments. We additionally investigate the challenges posed by different conflict types and how synthetic data improves a model's understanding of conflict-specific semantics. Finally, we highlight the difficulty in collecting real health conflicts and propose a human-in-the-loop synthetic data augmentation approach to expand existing HCD datasets. Our HCD training dataset is over 2x bigger than the existing HCD dataset and is made publicly available on Github.

研究の動機と目的

• オンラインプラットフォームにおける健康的対立の検出という課題に取り組む。ここでは、ある文脈では正確な情報であっても、別の文脈では矛盾する可能性がある。
• スケーラブルで文脈に配慮した方法を構築し、事前学習された言語モデルを用いて健康的対立を同定・分類する。
• アノテート済みHCDデータの不足を克服するため、ヒューマンインザループ型の合成データ生成アプローチを提案する。
• データ拡張により、直接的、時間的、条件的、および準典型的な対立タイプといった多様な対立タイプにわたるモデルのロバスト性を向上させる。
• 今後の文脈的健康情報システム分野の研究を支援するため、公開済みの拡張HCDデータセットを提供する。

提案手法

• バイナリおよびマルチクラスの対立検出を目的として、人間がアノテートしたHCDデータセット上で、BERT、RoBERTa、DeBERTa-v3、ELECTRA、DistilBERTの5つの事前学習言語モデルを微調整する。
• クラウドワーカーが、実際のHCD例から抽出したプロンプトに基づいて、対立ペアを生成するヒューマンインザループ型の合成データ生成パイプラインを実装する。
• モデルの解釈可能性を確保するため、Captumを用いてトークンの帰属スコアを生成し、モデルの注目メカニズムが人間の判断と整合するかを検証する。
• データ拡張を適用し、元のHCDデータセットに比べてトレーニングデータセットのサイズを2倍以上に拡大し、モデルの一般化性能を向上させる。
• 対立を4つのタイプに分類する：直接的、時間的、条件的、および準典型的。それぞれが異なる言語的パターンを示し、微細なモデリングが求められる。
• 全対立タイプの平均F1スコアを用いてモデルを評価し、各対立タイプごとのパフォーマンスを分析することで、モデルの強みと限界を同定する。

実験結果

リサーチクエスチョン

• RQ1 多様な対立タイプにわたる健康的対立検出（HCD）タスクにおいて、どの事前学習言語モデルアーキテクチャが最も優れた性能を示すか？
• RQ2 合成データ拡張は、実世界のHCD例におけるモデルの一般化性能とパフォーマンスをどのように向上させるか？
• RQ3 Captumを用いたモデルの注目パターン（注目度）は、対立検出における入力の重要性に関する人間の判断とどの程度一致するか？
• RQ4 直接的、時間的、条件的、準典型的な対立タイプは、NLPモデルに対してそれぞれどのような特異な課題を提示するか？
• RQ5 ヒューマンインザループ型の合成データ生成アプローチは、意味的・言語的正確性を保持しつつ、限られたHCDデータセットを効果的に拡張できるか？

主な発見

• DeBERTa-v3は、全対立タイプで平均F1スコア0.68を達成し、複雑で繊細な意味的対立を処理する能力において、他のモデルを上回った。
• 合成データ拡張により、実際のHCDデータに対するモデルのパフォーマンスが向上した。これは、実データと合成データのスタイルや内容の正確性の違いがあっても同様に有効であった。
• Captumによるトークン帰属スコアは、人間の入力重要性判断と強く一致しており、対立検出におけるモデルの解釈可能性が妥当であることが裏付けられた。
• 条件的および時間的対立は検出が比較的容易であったが、準典型的および直接的対立は、繊細な意味的パターンを伴うためより困難であった。
• 提案されたヒューマンインザループ型の合成データ生成手法により、HCDデータセットは元のサイズの2倍以上に拡張され、GitHubで公開された。
• 本研究では、公式と非公式の情報源（例：SNS）の間の対立を検出できることが確認され、健康に関する誤情報の早期検出が可能であると示された。