[論文レビュー] Application of NotebookLM, a Large Language Model with Retrieval-Augmented Generation, for Lung Cancer Staging

Ryota Tozuka, Hisashi Johno+6 more|arXiv (Cornell University)|Oct 8, 2024

Topic Modeling被引用数 4

ひとこと要約

本研究では、日本における第8版肺がんステージングガイドラインを信頼できる外部知識（REK）として用い、検索拡張生成（RAG）型大規模言語モデル（LLM）であるNotebookLMが、肺がんステージングに与える影響を評価した。NotebookLMは、100例の架空の症例における診断正確度が86％に達し、REKを用いたGPT-4o（39％）を著しく上回った。また、95％のリファレンス検索正確度を示し、放射線科医が回答を検証し、幻覚を低減することが可能となった。

ABSTRACT

Purpose: In radiology, large language models (LLMs), including ChatGPT, have recently gained attention, and their utility is being rapidly evaluated. However, concerns have emerged regarding their reliability in clinical applications due to limitations such as hallucinations and insufficient referencing. To address these issues, we focus on the latest technology, retrieval-augmented generation (RAG), which enables LLMs to reference reliable external knowledge (REK). Specifically, this study examines the utility and reliability of a recently released RAG-equipped LLM (RAG-LLM), NotebookLM, for staging lung cancer. Materials and methods: We summarized the current lung cancer staging guideline in Japan and provided this as REK to NotebookLM. We then tasked NotebookLM with staging 100 fictional lung cancer cases based on CT findings and evaluated its accuracy. For comparison, we performed the same task using a gold-standard LLM, GPT-4 Omni (GPT-4o), both with and without the REK. Results: NotebookLM achieved 86% diagnostic accuracy in the lung cancer staging experiment, outperforming GPT-4o, which recorded 39% accuracy with the REK and 25% without it. Moreover, NotebookLM demonstrated 95% accuracy in searching reference locations within the REK. Conclusion: NotebookLM successfully performed lung cancer staging by utilizing the REK, demonstrating superior performance compared to GPT-4o. Additionally, it provided highly accurate reference locations within the REK, allowing radiologists to efficiently evaluate the reliability of NotebookLM's responses and detect possible hallucinations. Overall, this study highlights the potential of NotebookLM, a RAG-LLM, in image diagnosis.

研究の動機と目的

• 検索拡張生成（RAG）型大規模言語モデル（LLM）であるNotebookLMの肺がんステージングにおける診断正確度と信頼性を評価すること。
• 標準化され最新の臨床ガイドラインを信頼できる外部知識（REK）として提供することで、LLMの医学画像診断における性能が向上するかを評価すること。
• 制御されたステージングタスクにおいて、NotebookLMとGPT-4オムニ（GPT-4o）の性能を、REKの有無に関わらず比較すること。
• 提供されたREK内での場所の正確な引用の仕方を分析することで、回答の追跡可能性を検討すること。
• RAG-LLMが、出典の明示によって幻覚を低減できるという点を踏まえ、放射線学における信頼できる診断支援ツールとしての可能性を検討すること。

提案手法

• 日本における第8版肺がんステージングガイドラインに基づき、CT所見と対応するTNM分類を有する100例の架空の肺がん症例を構築した。
• 公式の日本語肺がんステージングガイドラインを構造的で機械可読な信頼できる外部知識（REK）ドキュメントに要約した。
• NotebookLMにREKを提供し、その検索拡張生成（RAG）メカニズムを活用して、各症例のTNM分類を生成した。これにより、回答がREKに根拠を持つようにした。
• GPT-4oの評価を、REKを提供するか否かの2条件で実施し、同一のプロンプトと症例セットを用いて直接比較した。
• T、N、M因子ごとの診断正確度および全体のTNM分類の正確度を測定し、NotebookLMが正しいREKの節をどの程度正しく引用できたかを確認することで、リファレンス検索正確度を評価した。
• 複数の放射線科医によるコンSENSUSレビューを経て、最終的にシニア放射線科医による確認を実施した。

実験結果

リサーチクエスチョン

• RQ1 REKとして標準化された臨床ガイドラインを提供された場合、RAG搭載LLMのNotebookLMは、GPT-4oのような従来のLLMよりも、肺がんステージングにおいて高い診断正確度を達成できるか？
• RQ2 NotebookLMは、提供されたREK内での関連するセクションをどの程度正確に特定・引用できるか。また、その正確な引用は回答の追跡可能性と信頼性を向上させるか？
• RQ3 REKの提供が、臨床的ステージングタスクにおけるLLMの診断的パフォーマンスを顕著に向上させるか。その向上の程度はどの程度か？
• RQ4 出典の根拠があるにもかかわらず、RAG-LLM（例：NotebookLM）に残存するエラーの種類は何か。また、非RAGモデルと比較してその特徴は何か？
• RQ5 出典の引用が可能で幻覚が低減されるという点を踏まえ、NotebookLMのようなRAG-LLMは、出典の引用能力を活かして、放射線学分野における診断支援ツールとしてどの程度信頼できるか？

主な発見

• NotebookLMは、提供されたREKを用いて100例の架空の肺がん症例のステージングにおいて86％の診断正確度を達成した。これは、REKを用いたGPT-4o（39％）を著しく上回った。また、REKなしのGPT-4oは25％であった。
• NotebookLMは、REK内での正しい場所の特定と引用において95％の検索正確度を示し、放射線科医がその回答の根拠を検証できるようになった。
• GPT-4oの診断正確度はREKの有無でわずかに向上（REKあり：39％、REKなし：25％）したが、NotebookLMのパフォーマンスに比べて著しく低い水準であった。
• NotebookLMの優れたパフォーマンスは、提供されたREKに制限された生成を可能にするRAGアーキテクチャに起因しており、出典の根拠が明確に保たれている。
• 高い正確度と追跡可能性にもかかわらず、NotebookLMは依然としてエラーを犯しており、主に誤った数値比較に起因するものであった。これは、GPT-4oでも観察された問題と類似していた。
• 本研究は、NotebookLMのようなRAG-LLMが、権威あるREKと組み合わせることで、幻覚を低減し、臨床的LLMアプリケーションにおける信頼性を向上させられることを示唆している。