[論文レビュー] Differentiate ChatGPT-generated and Human-written Medical Texts

Wenxiong Liao, Zhengliang Liu+9 more|arXiv (Cornell University)|Apr 23, 2023

Artificial Intelligence in Healthcare and Education被引用数 24

ひとこと要約

この論文は、人間とChatGPTが生成した医療テキストのデータセットを構築し、言語的差異を分析し、ChatGPT生成の医療テキストと人間作成を区別するBERTベースの検出器がF1 > 95%を達成することを示しています。

ABSTRACT

Background: Large language models such as ChatGPT are capable of generating grammatically perfect and human-like text content, and a large number of ChatGPT-generated texts have appeared on the Internet. However, medical texts such as clinical notes and diagnoses require rigorous validation, and erroneous medical content generated by ChatGPT could potentially lead to disinformation that poses significant harm to healthcare and the general public. Objective: This research is among the first studies on responsible and ethical AIGC (Artificial Intelligence Generated Content) in medicine. We focus on analyzing the differences between medical texts written by human experts and generated by ChatGPT, and designing machine learning workflows to effectively detect and differentiate medical texts generated by ChatGPT. Methods: We first construct a suite of datasets containing medical texts written by human experts and generated by ChatGPT. In the next step, we analyze the linguistic features of these two types of content and uncover differences in vocabulary, part-of-speech, dependency, sentiment, perplexity, etc. Finally, we design and implement machine learning methods to detect medical text generated by ChatGPT. Results: Medical texts written by humans are more concrete, more diverse, and typically contain more useful information, while medical texts generated by ChatGPT pay more attention to fluency and logic, and usually express general terminologies rather than effective information specific to the context of the problem. A BERT-based model can effectively detect medical texts generated by ChatGPT, and the F1 exceeds 95%.

研究の動機と目的

• 人間とChatGPT生成の医療テキストの差異を理解することにより、医療分野におけるAIの信頼できる活用を促進する。
• 人間作成およびChatGPT生成の医療概要と放射線報告から構成される専用データセットを構築する。
• 語彙、品詞、依存関係、感情、パープレキシティなど、2つのテキストタイプを識別する言語的特徴を特徴づける。
• ChatGPT生成の医療テキストを確実に識別する機械学習検出器を開発・評価する。

提案手法

• Kaggle の医療概要と放射線報告を含む2つのデータセットを作成し、デモンストレーション（コンテキスト学習）によるテキスト継続を通じてChatGPT対応を生成する。
• 語彙/語幹のカウント、品詞タグ付け（NLTK）、依存構文解析（Stanford CoreNLP）、感情分析（Cardiff NLP モデル）、パープレキシティ（BioGPT）を実行する。
• 人間とChatGPTテキストの流暢さ、特異性、および統計的特性の差を定量化する。
• 検出器を以下を用いて開発する：パープレキシティ閾値（Perplexity-CLS）、CART（TF-IDF 特徴量）、XGBoost（TF-IDF 特徴量）、および微調整済み BERT（bert-base-cased）。
• 訓練/検証/テストの分割（7:2:1）で検出器を評価し、適合率、再現率、F1スコアを報告する。

実験結果

リサーチクエスチョン

• RQ1 人間が作成した医療テキストとChatGPTが生成したテキストの間にはどのような言語的差異が存在するか？
• RQ2 機械学習モデルはChatGPT生成の医療テキストを正確に検出できるか、どのモデルが最も優れているか？
• RQ3 提案された特徴量とモデルを用いて、2つのデータセット（医療概要と放射線報告）は一貫して識別可能か？

主な発見

モデル	データセット	適合率	再現率	F1
Perplexity-CLS	Medical abstract	0.728	0.724	0.723
CART	Medical abstract	0.777	0.745	0.738
XGBoost	Medical abstract	0.898	0.893	0.893
BERT	Medical abstract	0.958	0.958	0.958
Perplexity-CLS	Radiology report	0.831	0.828	0.828
CART	Radiology report	0.829	0.825	0.824
XGBoost	Radiology report	0.899	0.898	0.898
BERT	Radiology report	0.968	0.967	0.967

• 人間はより多様で具体的な医療コンテンツを生成する一方、ChatGPTは流暢で論理的、より一般的なテキストを生成する。
• ChatGPT生成の医療テキストは感情が中立/ポジティブ寄りで、パープレキシティが低い傾向があり、訓練データのパターンを再現していることを反映している。
• 品詞・依存分析は、ChatGPTが限定詞・接続詞・並列をより多く使用し、依存距離が短いことを示している。
• BERTベースの検出器が最良の性能を達成し、両データセットでF1は0.95を超える。パープレキシティベースの手法は劣る。
• XGBoostとCARTは競争力のある性能を示し、解釈可能な特徴の洞察を提供する。BERTが最も強力な全体識別力を提供する。