[논문 리뷰] ChatCAD+: Towards a Universal and Reliable Interactive CAD using LLMs

Zihao Zhao, Sheng Wang외 7명|arXiv (Cornell University)|2023. 05. 25.

Topic Modeling참고 문헌 54인용 수 4

한 줄 요약

ChatCAD+는 도메인 인식 이미지 해석, 템플릿 기반 보고서 생성, 지식 기반 LLM 추론을 통합하여 다양한 의료 영상 도메인에서 임상적으로 일致하고 최신이며 스타일적으로 정확한 진단 보고서를 생성하는 통합적이고 신뢰할 수 있는 상호작용형 CAD 시스템입니다. 권위 있는 의료 자료에서 증거를 검색하여 신뢰성을 향상시키고, 예시 보고서를 활용하여 보고서 품질을 향상시킵니다.

ABSTRACT

The integration of Computer-Aided Diagnosis (CAD) with Large Language Models (LLMs) presents a promising frontier in clinical applications, notably in automating diagnostic processes akin to those performed by radiologists and providing consultations similar to a virtual family doctor. Despite the promising potential of this integration, current works face at least two limitations: (1) From the perspective of a radiologist, existing studies typically have a restricted scope of applicable imaging domains, failing to meet the diagnostic needs of different patients. Also, the insufficient diagnostic capability of LLMs further undermine the quality and reliability of the generated medical reports. (2) Current LLMs lack the requisite depth in medical expertise, rendering them less effective as virtual family doctors due to the potential unreliability of the advice provided during patient consultations. To address these limitations, we introduce ChatCAD+, to be universal and reliable. Specifically, it is featured by two main modules: (1) Reliable Report Generation and (2) Reliable Interaction. The Reliable Report Generation module is capable of interpreting medical images from diverse domains and generate high-quality medical reports via our proposed hierarchical in-context learning. Concurrently, the interaction module leverages up-to-date information from reputable medical websites to provide reliable medical advice. Together, these designed modules synergize to closely align with the expertise of human medical professionals, offering enhanced consistency and reliability for interpretation and advice. The source code is available at https://github.com/zhaozh10/ChatCAD.

연구 동기 및 목표

• 기존의 LLM 기반 CAD 시스템의 일반화 능력이 제한되어 있어 일반적으로 단일 영상 도메인 또는 모odalities에 국한되어 있다는 문제를 해결하기 위해.
• LLM이 생성한 보고서와 방사선의사가 작성한 보고서 간의 스타일 불일치 문제를 극복하기 위해 임상 보고서 템플릿을 통합함으로써.
• 내부 LLM 지식에만 의존하는 것과는 달리 최신이고 신뢰할 수 있는 의료 지식 자료원에 기반하여 LLM의 답변을 근거화함으로써 의료 조언의 신뢰성을 향상시키기 위해.
• 다양한 의료 영상 입력을 처리하고 전문가 수준의 진단 보고서를 생성할 수 있는 보편적이고 상호작용적이며 임상적으로 유용한 CAD 시스템을 제공하기 위해.

제안 방법

• 도메인 식별 모듈은 입력된 의료 영상 자동 분류 및 적절한 CAD 모델 선택을 통해 모달리티에 관계없이 처리를 보장합니다.
• 시스템은 통합된 해석 파이프라인을 사용하여 CAD 네트워크 출력을 구조화된 의료 텍스트 기술로 변환합니다.
• 템플릿 검색 시스템은 내부 데이터베이스에서 상위-k개의 임상적으로 관련성이 높은 보고서 예시를 추출하여 LLM이 방사선의사의 글쓰기 스타일을 모방하도록 합니다.
• 지식 검색 모듈은 신뢰할 수 있는 출처(예: UpToDate)에서 최신의 증거 기반 의료 정보를 검색하여 LLM이 생성한 조언과 치료법을 근거화합니다.
• LLM은 검색된 템플릿과 지식을 통합하여 스타일적으로 일致하고 임상적으로 신뢰할 수 있는 최종 진단 보고서를 생성합니다.
• 아키텍처는 모듈식이고 확장 가능하여 다양한 영상 도메인에서 새로운 CAD 모델과 지식 자료원을 통합할 수 있습니다.

실험 결과

연구 질문

• RQ1 도메인 전용 미세조정 없이도 단일 LLM 기반 시스템이 다양한 해부학적 및 영상 도메인에서 의료 영상을 안정적으로 해석할 수 있는가?
• RQ2 템플릿 기반 검색이 LLM이 생성한 방사선 보고서의 스타일적 일致성과 임상적 일致성에 얼마나 효과적으로 기여하는가?
• RQ3 외부 의료 지식 데이터베이스에 기반하여 LLM의 답변을 근거화함으로써 임상 조언의 신뢰성과 정확성이 얼마나 향상되는가?
• RQ4 도메인 식별, 템플릿 검색, 지식 기반 근거화의 통합이 환상(hallucination)을 크게 줄이고 자동 진단 시스템의 임상적 신뢰성을 향상시키는가?

주요 결과

• ChatCAD+는 단일 통합 인터페이스를 사용하여 여러 도메인의 의료 영상 식별 및 처리가 가능하여 보편적 적용 가능성을 입증하였습니다.
• 템플릿 검색 시스템은 LLM이 생성한 보고서의 스타일이 인간 방사선의사의 보고서와 유사하게 개선되어 부자연스럽거나 일치하지 않는 어휘 사용을 줄였습니다.
• 지식 기반 근거화된 응답은 증거 기반 권고를 포함하고 기존 LLM 기반 베이스라인 대비 환상이 감소하여 더 높은 임상적 신뢰성을 보였습니다.
• 임상 전문가의 검증을 통해 복잡한 병변(예: 흉막 출혈 및 폐기종)이 있는 경우 특히 우수한 진단 보고서 품질을 달성하였습니다.
• 비교 평가에서 ChatCAD+는 치료 계획 수립 및 증상 해석 분야에서 정확하고 맥락에 적합하며 최신 정보를 반영한 의료 조언을 생성하는 데 기존 LLM 기반 시스템을 능가했습니다.
• 실시간 의료 지식 검색 통합으로 의료 증거의 변화가 있어도 권고사항이 임상 지침과 일치하고 최신 상태를 유지함을 보장하였습니다.