[논문 리뷰] Application of NotebookLM, a Large Language Model with Retrieval-Augmented Generation, for Lung Cancer Staging

Ryota Tozuka, Hisashi Johno외 6명|arXiv (Cornell University)|2024. 10. 08.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 일본의 8판 폐암 분류 지침을 신뢰할 수 있는 외부 지식(REK)으로 삼아, 검색 증강 생성(RAG) 기반 대규모 언어 모델인 NotebookLM의 폐암 분류 성능을 평가한다. NotebookLM는 100건의 가짜 사례를 분류하는 데 86%의 진단 정확도를 기록했으며, 이는 REK를 제공받은 GPT-4o(39%)를 크게 앞서며, 참조 검색 정확도가 95%에 이르러 방사선의사가 응답을 검증하고 환각을 줄이는 데 기여한다.

ABSTRACT

Purpose: In radiology, large language models (LLMs), including ChatGPT, have recently gained attention, and their utility is being rapidly evaluated. However, concerns have emerged regarding their reliability in clinical applications due to limitations such as hallucinations and insufficient referencing. To address these issues, we focus on the latest technology, retrieval-augmented generation (RAG), which enables LLMs to reference reliable external knowledge (REK). Specifically, this study examines the utility and reliability of a recently released RAG-equipped LLM (RAG-LLM), NotebookLM, for staging lung cancer. Materials and methods: We summarized the current lung cancer staging guideline in Japan and provided this as REK to NotebookLM. We then tasked NotebookLM with staging 100 fictional lung cancer cases based on CT findings and evaluated its accuracy. For comparison, we performed the same task using a gold-standard LLM, GPT-4 Omni (GPT-4o), both with and without the REK. Results: NotebookLM achieved 86% diagnostic accuracy in the lung cancer staging experiment, outperforming GPT-4o, which recorded 39% accuracy with the REK and 25% without it. Moreover, NotebookLM demonstrated 95% accuracy in searching reference locations within the REK. Conclusion: NotebookLM successfully performed lung cancer staging by utilizing the REK, demonstrating superior performance compared to GPT-4o. Additionally, it provided highly accurate reference locations within the REK, allowing radiologists to efficiently evaluate the reliability of NotebookLM's responses and detect possible hallucinations. Overall, this study highlights the potential of NotebookLM, a RAG-LLM, in image diagnosis.

연구 동기 및 목표

• 검색 증강 생성(RAG) 기반 대규모 언어 모델인 NotebookLM의 폐암 분류 정확도와 신뢰성 평가
• 표준화되고 최신화된 임상 지침을 신뢰할 수 있는 외부 지식(REK)으로 제공할 경우, LLM의 의료 영상 진단 성능 향상 여부 평가
• 제공된 REK 유무에 따라 NotebookLM과 GPT-4 오미(이하 GPT-4o)의 성능을 제어된 분류 작업에서 비교 분석
• 제공된 REK 내에서 NotebookLM이 얼마나 정확하게 위치를 인용하는지 분석함으로써 응답의 추적 가능성과 신뢰성 평가
• RAG-LLM이 방사선학 분야에서 환각을 줄이고 소스 근거를 제시함으로써 신뢰할 수 있는 진단 지원 도구로 활용될 수 있는 잠재력 탐색

제안 방법

• 일본의 8판 폐암 분류 지침을 바탕으로 CT 소견과 해당 TNM 분류를 포함한 100건의 가짜 폐암 사례를 구성
• 공식 일본 폐암 분류 지침을 정제하고 기계로 읽을 수 있는 구조화된 신뢰할 수 있는 외부 지식(REK) 문서로 요약
• NotebookLM에 REK를 제공하여 각 사례의 TNM 분류를 생성함. 이때 RAG 기반 생성 메커니즘을 활용해 응답을 REK에 기반하게 함
• GPT-4o는 동일한 프롬프트와 사례 세트를 사용해 REK 유무 조건에서 각각 평가함으로써 직접 비교 가능하게 함
• T, N, M 요소 및 전체 TNM 분류의 진단 정확도를 측정하고, NotebookLM이 정확한 REK 문단을 인용했는지 확인함으로써 참조 검색 정확도 평가
• 다수의 방사선의사의 공진의를 통해 결과를 검증하고, 최종 확인은 고위 방사선의사가 수행함

실험 결과

연구 질문

• RQ1 표준화된 임상 지침을 신뢰할 수 있는 외부 지식(REK)으로 제공받는 RAG 기반 LLM인 NotebookLM이 GPT-4o와 같은 전통적 LLM보다 폐암 분류 정확도에서 뛰어난 성능을 보일 수 있는가?
• RQ2 NotebookLM는 제공된 REK 내에서 관련 섹션을 얼마나 정확하게 위치하고 인용할 수 있으며, 이는 응답의 추적 가능성과 신뢰성 향상에 기여하는가?
• RQ3 REK의 포함 여부가 임상 분류 작업에서 LLM의 진단 성능 향상에 유의미한 영향을 미치는가? 만약 그렇다면 그 정도는 어느 정도인가?
• RQ4 소스 기반 근거를 제공하는 RAG-LLM인 NotebookLM에도 불구하고 여전히 남아 있는 오류 유형은 무엇이며, 비-RAG 모델과 비교해 어떤가?
• RQ5 소스 근거를 제시하고 환각을 줄일 수 있는 능력을 바탕으로, RAG-LLM인 NotebookLM은 방사선학 분야에서 얼마나 신뢰할 수 있는 진단 지원 도구로 활용될 수 있는가?

주요 결과

• NotebookLM는 제공된 REK를 활용해 100건의 가짜 폐암 사례를 분류하는 데 86%의 진단 정확도를 기록했으며, 이는 REK를 제공받은 GPT-4o(39%)를 크게 앞서며, 비REK 조건(25%)과 비교해도 유의미하게 높은 성능을 보였다.
• NotebookLM는 제공된 REK 내에서 정확한 위치를 인용하는 데 95%의 검색 정확도를 보였으며, 이는 방사선의사가 응답의 근거를 검증하는 데 유리하게 작용했다.
• GPT-4o의 진단 정확도는 REK 유무에 따라 약간 향상되었지만(39% vs 25%), 여전히 NotebookLM의 성능에 비해 크게 떨어졌다.
• NotebookLM의 뛰어난 성능은 RAG 아키텍처 덕분으로, 이는 응답 생성을 제공된 REK에 국한함으로써 소스 기반 근거를 보장하기 때문이다.
• 높은 정확도와 추적 가능성을 보였음에도 불구하고, NotebookLM은 여전히 오류를 범했으며, 주로 잘못된 수치 비교에서 기인한 오류였다. 이는 GPT-4o에서도 관찰된 문제와 유사했다.
• 본 연구는 RAG-LLM이 신뢰할 수 있는 외부 지식(REK)과 결합될 경우, 환각을 줄이고 임상 분야의 LLM 응용 프로그램에서 신뢰성을 향상시킬 수 있음을 시사한다.