[論文レビュー] Zero-shot information extraction from radiological reports using ChatGPT

Danqing Hu, Bing Liu+3 more|arXiv (Cornell University)|Sep 4, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本研究では、アノテート済みデータやモデルのファインチューニングを必要とせず、ChatGPTを用いて放射線学的レポートから構造化された臨床情報を取り出すゼロショット情報抽出フレームワークを提案する。プロンプトテンプレートの設計と後処理の適用により、腫瘍の位置やサイズといった単純なIEタスクでは競争力ある性能を達成したが、腫瘍の密度やリンパ節状態といった複雑なクエリに関しては、推論力と一貫性の制限により困難を示した。

ABSTRACT

Electronic health records contain an enormous amount of valuable information, but many are recorded in free text. Information extraction is the strategy to transform the sequence of characters into structured data, which can be employed for secondary analysis. However, the traditional information extraction components, such as named entity recognition and relation extraction, require annotated data to optimize the model parameters, which has become one of the major bottlenecks in building information extraction systems. With the large language models achieving good performances on various downstream NLP tasks without parameter tuning, it becomes possible to use large language models for zero-shot information extraction. In this study, we aim to explore whether the most popular large language model, ChatGPT, can extract useful information from the radiological reports. We first design the prompt template for the interested information in the CT reports. Then, we generate the prompts by combining the prompt template with the CT reports as the inputs of ChatGPT to obtain the responses. A post-processing module is developed to transform the responses into structured extraction results. We conducted the experiments with 847 CT reports collected from Peking University Cancer Hospital. The experimental results indicate that ChatGPT can achieve competitive performances for some extraction tasks compared with the baseline information extraction system, but some limitations need to be further improved.

研究の動機と目的

• 大規模言語モデル（LLM）であるChatGPTが、アノテート済みデータやファインチューニングなしで放射線学的レポートからのゼロショット情報抽出を実行できるかどうかを調査すること。
• 従来の情報抽出システムにおけるデータアノテーションのボトルネックを、LLMのゼロショット能力を活用することで克服すること。
• 自由なテキストのCTレポートから構造化された臨床的エンティティを抽出できる有効なプロンプトテンプレートを設計すること。
• 実世界の肺がんCTレポートにおいて、ChatGPTのパフォーマンスをベースラインIEシステムと比較すること。
• 臨床的導入にあたってのChatGPTの推論力、一貫性、プライバシー対応における制限を特定すること。

提案手法

• 腫瘍の位置、サイズ、棘状突起、リンパ節状態などの主な放射線学的エンティティ向けに、タスク固有のプロンプトテンプレートを設計すること。
• テンプレートと実際のCTレポートを組み合わせて入力プロンプトを生成し、ChatGPTの出力生成を誘導すること。
• モデル出力を標準化された構造化された抽出結果に変換するための後処理モジュールを適用すること。
• 北京大学腫瘍病院の847件の実際のCTレポートを評価に使用すること。
• ChatGPTの出力の信頼性を評価するために、アノテーター間の一貫性と一貫性分析を実施すること。
• 曖昧または複雑なクエリに対して精度を向上させるために、プロンプトに追加の指示を組み込むこと。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、高い正確性と信頼性をもって、放射線学的レポートからのゼロショット情報抽出を実行できるか？
• RQ2 臨床的に関連するエンティティに関して、ChatGPTのパフォーマンスは、従来の機械学習ベースのIEシステムと比べてどうか？
• RQ3 腫瘍の密度やリンパ節状態といった複雑な放射線学的概念を抽出する際、ChatGPTの主な失敗モードは何か？
• RQ4 同じ入力に対して複数回の推論を実行した際、ChatGPTの出力はどれほど一貫しているか？
• RQ5 プロンプト工学により、ChatGPTの正確性を向上させ、ホワリケーションを低減できるか？

主な発見

• 腫瘍の位置、長径・短径、胸膜インベイジョンといった単純なIEタスクにおいて、ChatGPTは高い一貫性と低誤差を達成し、競争力あるパフォーマンスを示した。
• 腫瘍の密度やリンパ節状態といった複雑なクエリに関しては、追加のプロンプト指示があっても、顕著な制限が見られ、しばしば一貫性のないまたは誤った応答を出力した。
• ChatGPTは類似語を頻繁に誤分類しており、例として「ストリークイ」を「棘状突起」と誤認する、または「胸膜肥厚」を「胸膜インベイジョン」と誤認するなど、意味的区別に困難を示した。
• 同じプロンプトに対して複数回の推論を実行した際、出力が変動し、信頼性と再現性に関する懸念が生じた。
• ChatGPTは同義語である臨床用語（例：「葉間裂」と「葉間胸膜」）を認識できず、医学用語における推論のギャップが顕著に現れた。
• 外部LLMに生の臨床データを送信するリスクにより、プライバシー上の懸念が生じ、小規模でローカライズされたLLMのオンプレミス導入の必要性が明らかになった。