[論文レビュー] Applying BERT and ChatGPT for Sentiment Analysis of Lyme Disease in Scientific Literature

Teo Sušnjak|arXiv (Cornell University)|Feb 7, 2023

Topic Modeling参考文献 7被引用数 7

ひとこと要約

本稿では、BERTとChatGPTを用いた慢性リム病に関する文献の感情分析のための実用的なNLPパイプラインを提示している。この研究では、事前学習済み言語モデルと説明可能なAI（SHAP）を組み合わせることで、慢性リム病に関する科学的議論におけるバイアスを検出する方法を示している。5,643件の科学的要約に対して、BERTとLLMベースの検証を組み合わせることで、感情分類の解釈可能性と一貫性が向上することを示している。

ABSTRACT

This chapter presents a practical guide for conducting Sentiment Analysis using Natural Language Processing (NLP) techniques in the domain of tick-borne disease text. The aim is to demonstrate the process of how the presence of bias in the discourse surrounding chronic manifestations of the disease can be evaluated. The goal is to use a dataset of 5643 abstracts collected from scientific journals on the topic of chronic Lyme disease to demonstrate using Python, the steps for conducting sentiment analysis using pre-trained language models and the process of validating the preliminary results using both interpretable machine learning tools, as well as a novel methodology of using emerging state-of-the-art large language models like ChatGPT. This serves as a useful resource for researchers and practitioners interested in using NLP techniques for sentiment analysis in the medical domain.

研究の動機と目的

• 慢性リム病のような論争の生じるトピックに焦点を当て、医学文献における感情分析の再現可能なNLPワークフローを開発すること。
• 計算的手法を用いて、治療後リム病症候群（PTLDS）をめぐる科学的議論にバイアスが存在するかを評価すること。
• SHAPによるモデルの解釈可能性とChatGPTによる人間らしいテキスト解釈を用いて、感情予測を検証すること。
• 事前学習モデルとLLMを組み合わせたハイブリッドアプローチが、論争の生じる医学的トピックにおける感情分析の信頼性を向上させることを示すこと。

提案手法

• 2000年から2021年までの間、学術雑誌から収集した5,643件の慢性リム病に関する科学的要約のデータセットを用いた。
• 感情分類に、事前学習済みBERTモデル「nlptown/bert-base-multilingual-uncased-sentiment」を適用し、トークン化と重み付き平均化を用いて長大な要約に対処した。
• 特徴レベルの解釈可能性を生成するためにSHAP（SHapley Additive exPlanations）を用い、感情予測への単語レベルの寄与度を可視化した。
• GPT-3を介してChatGPTを用いてモデル出力を検証し、感情（1〜5）を分類し、主観的色の強い語句を特定した。
• モデル推論と解釈可能性に、PythonとHugging Face TransformersおよびSHAPライブラリを用いた。
• ドメインミスマッチへの対処として、一般向けのBERTモデルが非医療テキストで学習されているため、医療用語が誤分類される可能性（例：医学的文脈では中立的だが、ビジネス文脈では否定的とされる「pathology」）を認識した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデル（例：BERT）は、客観性を重視する科学的要約において、信頼性を持って感情を検出できるか？
• RQ2 ChatGPTのような大規模言語モデルを用いて交差検証した場合、BERTの感情予測はどの程度一貫性を示すか？
• RQ3 SHAP値は、医療テキストにおける個々の語の感情予測への寄与度をどの程度説明できるか？
• RQ4 事前学習モデル（レビューで学習）と医療テキストとの間のドメインミスマッチが、感情分類の正確性にどの程度影響を及えるか？
• RQ5 LLMと説明可能なAIツールを組み合わせたハイブリッドアプローチは、論争の生じる医学的トピックにおける感情分析の解釈可能性と信頼性を向上させることができるか？

主な発見

• BERTモデルは、医学文献の通常の中立的トーンにもかかわらず、5,643件の科学的要約すべてに感情スコアを割り当てることに成功した。
• SHAP分析により、特定の医療用語やフレーズが感情予測に有意義に寄与していることが明らかになり、モデルの透明性が向上した。
• ChatGPTによる感情分類（1〜5スケール）と主観性の特定は、BERTの予測と強く一致し、モデル出力の妥当性が裏付けられた。
• 本研究では、ドメインミスマッチが依然として課題であることが確認された。例として、「pathology」のような医療用語は、非医療テキストで学習されたモデルのため、誤分類される可能性がある。
• ChatGPTのようなLLMを検証に用いることで、科学的テキストにおける感情分析結果の相互検証に実用的で解釈可能な方法が提供された。
• 著者らは、BERTとLLM、SHAPを組み合わせることで、医学的議論における感情分析において、強固で解釈可能かつスケーラブルなアプローチが得られると結論づけた。