[論文レビュー] Enhancing LLMs for Impression Generation in Radiology Reports through a Multi-Agent System

Fang Zeng, Zhiliang Lyu+2 more|arXiv (Cornell University)|Dec 6, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

本稿では、リトリーブ・エージェント、放射線科医エージェント、レビュー・エージェントを統合することで、診断的正確性、スタイルの一貫性、明確性を向上させる、マルチエージェントLLMフレームワーク「RadCouncil」を提案する。反復的フィードバックとリトリーブ拡張生成を活用することで、単一エージェントモデルに比べ優れた性能を示し、GPT-4による評価で顕著な質的向上が確認された。

ABSTRACT

This study introduces "RadCouncil," a multi-agent Large Language Model (LLM) framework designed to enhance the generation of impressions in radiology reports from the finding section. RadCouncil comprises three specialized agents: 1) a "Retrieval" Agent that identifies and retrieves similar reports from a vector database, 2) a "Radiologist" Agent that generates impressions based on the finding section of the given report plus the exemplar reports retrieved by the Retrieval Agent, and 3) a "Reviewer" Agent that evaluates the generated impressions and provides feedback. The performance of RadCouncil was evaluated using both quantitative metrics (BLEU, ROUGE, BERTScore) and qualitative criteria assessed by GPT-4, using chest X-ray as a case study. Experiment results show improvements in RadCouncil over the single-agent approach across multiple dimensions, including diagnostic accuracy, stylistic concordance, and clarity. This study highlights the potential of utilizing multiple interacting LLM agents, each with a dedicated task, to enhance performance in specialized medical tasks and the development of more robust and adaptable healthcare AI solutions.

研究の動機と目的

• 単一エージェントLLMが、幻覚やスタイルの一貫性の欠如といった問題を抱える放射線画像報告書の生成において、正確性と一貫性を向上させるための制限を克服すること。
• リトリーブ、生成、同僚レビューを統合することで、臨床的放射線科プロセスを模倣するスケーラブルでモジュラーなフレームワークを構築すること。
• リトリーブ拡張生成とマルチエージェントフィードバックを活用し、診断の正確性と放射線画像報告の基準に沿ったスタイルの一致を向上させること。
• 時間的および状態関連の結論における一貫性の欠如を低減するマルチエージェントシステムの有効性を評価すること。
• 放射線科を超えた、協調性、専門性、検証を要する臨床文書作成タスクへも応用可能な、強固で信頼性が高く柔軟性のある医療AIアプリケーションへの可能性を検討すること。

提案手法

• RadCouncilは、ベクトル類似度を用いてデータベースから類似した過去の報告書を取得するリトリーブ・エージェントを採用する。
• 放射線科医エージェントは、入力された所見セクションと取得された例示報告書の文脈を基に、インスピレーションを生成する。
• レビュー・エージェントは、生成されたインスピレーションが所見と一貫しているかを評価し、誤った「変化なし」状態の主張などのエラーを特定することに焦点を当てる。
• システムは反復的フィードバックを用いる：一貫性の欠如が検出された場合、放射線科医エージェントはレビュー・エージェントのフィードバックに基づき、インスピレーションを再修正する。
• ドメイン特化知識と放射線画像報告の慣習に沿ったスタイルの忠実性を高めるために、リトリーブ拡張生成（RAG）を統合する。
• 性能評価にはBLEU、ROUGE、BERTScoreに加え、GPT-4による定性的評価を用い、胸部X線画像報告書をテストケースとして用いる。

Figure 1 : Diagram of the proposed RadCouncil framework, illustrating the interactions between the three agents, the report database, and the user.

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントLLMフレームワークは、単一エージェントアプローチに比べ、放射線画像報告書の生成における診断的正確性とスタイルの一貫性を向上させることができるか？
• RQ2 専用のレビュー・エージェントと統合されたリトリーブ拡張生成は、幻覚や一貫性の欠如をどれほど低減できるか？
• RQ3 レビュー・エージェントは、誤った「変化なし」結論を含む、時間的状態変化関連のエラーをどの程度正確に検出・是正できるか？
• RQ4 役割特化によるマルチエージェントアーキテクチャは、医療テキスト生成における信頼性とレジリエンスをどのように向上させるか？
• RQ5 このフレームワークは、協調性、専門性、検証を要する、他の臨床文書作成タスクへ一般化可能か？

主な発見

• RadCouncilは、BLEU、ROUGE、BERTScoreの定量的指標において、単一エージェントベースラインを顕著に上回り、より自然で関連性の高い出力を示した。
• GPT-4による評価で、RadCouncilが生成したインスピレーションは、単一エージェントモデルに比べ、臨床的正確性、スタイルの一貫性、明確性において優れていた。
• レビュー・エージェントは、状態に関する誤った主張を含む5件のケースのうち4件で一貫性の欠如を正しく特定・是正した。特に「変化なし」の結論に関する誤りの検出に効果的であった。
• 過去の比較画像が明示的に記載されていない場合、レビューエージェントは「状態（Status）」関連の不整合を検出できなかったため、時間的推論の向上が求められる。
• リトリーブ拡張生成により、放射線画像報告の基準に沿ったスタイルの一貫性と診断の正確性が向上したが、新たな一貫性の欠如リスクも生じた。
• マルチエージェントシステムは、専門的で協働的なエージェントを用いて幻覚を低減し、医療LLMアプリケーションにおける信頼性を向上させる可能性を示した。

Figure 2 : Example comparison of original impression generated by radiologist agent only vs. impression enhanced by report retriever agent.