[论文解读] Application of NotebookLM, a Large Language Model with Retrieval-Augmented Generation, for Lung Cancer Staging

Ryota Tozuka, Hisashi Johno+6 more|arXiv (Cornell University)|Oct 8, 2024

Topic Modeling被引用 4

一句话总结

本研究评估了NotebookLM这一检索增强生成（RAG）大语言模型在使用日本第8版肺癌分期指南作为可靠外部知识（REK）时，对肺癌分期的性能。NotebookLM在100个虚构病例的分期中实现了86%的诊断准确率，显著优于GPT-4o（使用REK时为39%），并展现出95%的参考检索准确率，使放射科医生能够验证其回答并减少幻觉现象。

ABSTRACT

Purpose: In radiology, large language models (LLMs), including ChatGPT, have recently gained attention, and their utility is being rapidly evaluated. However, concerns have emerged regarding their reliability in clinical applications due to limitations such as hallucinations and insufficient referencing. To address these issues, we focus on the latest technology, retrieval-augmented generation (RAG), which enables LLMs to reference reliable external knowledge (REK). Specifically, this study examines the utility and reliability of a recently released RAG-equipped LLM (RAG-LLM), NotebookLM, for staging lung cancer. Materials and methods: We summarized the current lung cancer staging guideline in Japan and provided this as REK to NotebookLM. We then tasked NotebookLM with staging 100 fictional lung cancer cases based on CT findings and evaluated its accuracy. For comparison, we performed the same task using a gold-standard LLM, GPT-4 Omni (GPT-4o), both with and without the REK. Results: NotebookLM achieved 86% diagnostic accuracy in the lung cancer staging experiment, outperforming GPT-4o, which recorded 39% accuracy with the REK and 25% without it. Moreover, NotebookLM demonstrated 95% accuracy in searching reference locations within the REK. Conclusion: NotebookLM successfully performed lung cancer staging by utilizing the REK, demonstrating superior performance compared to GPT-4o. Additionally, it provided highly accurate reference locations within the REK, allowing radiologists to efficiently evaluate the reliability of NotebookLM's responses and detect possible hallucinations. Overall, this study highlights the potential of NotebookLM, a RAG-LLM, in image diagnosis.

研究动机与目标

• 评估检索增强生成（RAG）大语言模型NotebookLM在肺癌分期中的诊断准确率与可靠性。
• 评估将标准化、最新的临床指南作为可靠外部知识（REK）是否能提升大语言模型在医学影像诊断中的表现。
• 在受控的分期任务中，对比NotebookLM与GPT-4 Omni（GPT-4o）在有无REK条件下的表现。
• 通过分析NotebookLM在所提供REK中引用位置的准确性，评估其回答的可追溯性。
• 探讨RAG-LLM作为放射科中可靠诊断辅助工具的潜力，特别是通过来源标注减少幻觉现象。

提出的方法

• 基于日本第8版肺癌分期指南，构建了100个包含CT影像表现及相应TNM分类的虚构肺癌病例。
• 将日本官方肺癌分期指南整理为结构化、机器可读的可靠外部知识（REK）文档。
• 使用NotebookLM结合REK，通过其检索增强生成（RAG）机制，为每个病例生成TNM分类，确保回答基于REK内容。
• 在两种条件下评估GPT-4o的表现：使用与不使用相同的REK，采用相同的提示词和病例集以实现直接对比。
• 测量T、N、M各因素及整体TNM分类的诊断准确率，并通过验证NotebookLM是否引用了正确的REK段落来评估参考检索准确率。
• 通过多位放射科医生的共识评审验证结果，最终由一位资深放射科医生确认。

实验结果

研究问题

• RQ1 当提供标准化临床指南作为REK时，配备RAG功能的大语言模型NotebookLM是否能在肺癌分期中实现高于传统LLM（如GPT-4o）的诊断准确率？
• RQ2 NotebookLM在定位和引用所提供REK中相关部分时的准确性如何？这是否增强了其回答的可追溯性与可信度？
• RQ3 REK的引入是否显著提升了LLM在临床分期任务中的诊断表现？若然，提升程度如何？
• RQ4 尽管具备来源定位功能，RAG-LLM如NotebookLM仍存在哪些类型的错误？与非RAG模型相比，其错误模式有何异同？
• RQ5 鉴于RAG-LLM如NotebookLM具备引用来源和减少幻觉的能力，其在放射科作为诊断辅助工具的可信度在多大程度上可被接受？

主要发现

• NotebookLM在使用所提供REK对100个虚构肺癌病例进行分期时，实现了86%的诊断准确率，显著高于GPT-4o（使用REK时为39%，不使用时为25%）。
• NotebookLM在识别并引用REK中正确段落方面表现出95%的检索准确率，使放射科医生能够验证其回答的依据。
• GPT-4o的诊断准确率在使用REK后略有提升（39%），但与NotebookLM相比仍显著偏低。
• NotebookLM表现优异的原因在于其RAG架构，该架构将生成限制在提供的REK范围内，确保了来源的可追溯性。
• 尽管准确率和可追溯性较高，NotebookLM仍存在错误，主要源于错误的数值比较——与GPT-4o中观察到的问题类似。
• 本研究表明，如NotebookLM这样的RAG-LLM可通过结合权威REK，有效减少幻觉并提升临床LLM应用的可靠性。