[論文レビュー] An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT

Chong Ma, Zihao Wu+14 more|arXiv (Cornell University)|Apr 17, 2023

Topic Modeling参考文献 42被引用数 40

ひとこと要約

ImpressionGPT は動的で類似性ベースのプロンプトと反復的最適化を用いて、モデルのファインチューニングなしに ChatGPT に放射線報告の要約を行わせ、MIMIC-CXR と OpenI で最先端の成果を達成します。

ABSTRACT

The 'Impression' section of a radiology report is a critical basis for communication between radiologists and other physicians, and it is typically written by radiologists based on the 'Findings' section. However, writing numerous impressions can be laborious and error-prone for radiologists. Although recent studies have achieved promising results in automatic impression generation using large-scale medical text data for pre-training and fine-tuning pre-trained language models, such models often require substantial amounts of medical text data and have poor generalization performance. While large language models (LLMs) like ChatGPT have shown strong generalization capabilities and performance, their performance in specific domains, such as radiology, remains under-investigated and potentially limited. To address this limitation, we propose ImpressionGPT, which leverages the in-context learning capability of LLMs by constructing dynamic contexts using domain-specific, individualized data. This dynamic prompt approach enables the model to learn contextual knowledge from semantically similar examples from existing data. Additionally, we design an iterative optimization algorithm that performs automatic evaluation on the generated impression results and composes the corresponding instruction prompts to further optimize the model. The proposed ImpressionGPT model achieves state-of-the-art performance on both MIMIC-CXR and OpenI datasets without requiring additional training data or fine-tuning the LLMs. This work presents a paradigm for localizing LLMs that can be applied in a wide range of similar application scenarios, bridging the gap between general-purpose LLMs and the specific language processing needs of various domains.

研究の動機と目的

• LLM をドメイン内で活用することにより、放射線報告の要約を効率化し、放射線科医の作業負荷を軽減する。
• ChatGPT を文脈化するために、意味的に類似した既存の報告を用いる動的でドメイン固有のプロンプト戦略を開発する。
• 自動評価とプロンプト更新を通じて ChatGPT の出力を洗練する反復最適化ループを導入する。
• 追加の LLM ファインチューニングを行わずに、公開放射線データセット（MIMIC-CXR と OpenI）で ImpressionGPT を評価する。
• 限られたドメインデータを用いて一般的な LLM をドメイン固有タスクに適応する、普遍化可能なパラダイムを提供する。

提案手法

• CheXpert由来の疾病ラベルを使用してドメイン固有コーパスを類似検索し、意味的に類似した報告を選択して動的プロンプトを構築する。
• 三部構成の動的プロンプトを構築する：タスクの説明、動的サンプル（類似の所見と所見を含む Q&A スタイル）、および最終的なクエリ。
• Rouge-1 を用いて類似参照の印象と比較して ChatGPT の出力を評価し、良い例/悪い例でプロンプトを更新する反復最適化アルゴリズムを適用する。
• Rouge-1 を評価指標として反復的なプロンプト改良を導き、最も優れた生成印象を選択する。
• このアプローチが、LLM のファインチューニングなしで MIMIC-CXR および OpenI で最先端の性能を達成し、プロンプト作成には少量のドメインデータのみを使用することを示す。
• GitHub でオープンソースコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 意味的に類似したドメイン固有の例から構築された動的プロンプトは、モデルファインチューニングなしで ChatGPT の放射線診断印象生成を改善できるか？
• RQ2 静的な動的プロンプトと比較して、反復的なプロンプト最適化ループは生成印象を継続的に改善するか？
• RQ3 限られたドメインデータで、ImpressionGPT は異なる放射線コーパス（MIMIC-CXR と OpenI）にどれだけ一般化できるか？
• RQ4 自動評価（Rouge-1）はプロンプト改良を導く上でどのような役割を果たし、より高品質な印象の達成にどの程度寄与するか？

主な発見

• ImpressionGPT は、2つの公開データセットで既存の放射線報告要約手法に対して顕著な性能向上を達成する。
• このアプローチは、LLM のファインチューニングを行わず、プロンプト作成には少量のドメインデータ（5–20 サンプル）で機能する。
• 意味的に類似した報告から構築された動的コンテキストは、関連する印象を生成するモデルの能力を高める。
• 良い/悪い応答のフィードバックを用いた反復的なプロンプト最適化ループは、時間とともに生成品質をさらに向上させる。
• このフレームワークは、インコンテキスト学習と反復的プロンプトにより、限られたデータで大規模言語モデルをドメイン固有タスクに適応させる一般的なパラダイムとして提示される。
• ImpressionGPT を実装したコードは GitHub で提供されています。