[논문 리뷰] CephGPT-4: An Interactive Multimodal Cephalometric Measurement and Diagnostic System with Visual Large Language Model

Lei Ma, Jincong Han외 2명|arXiv (Cornell University)|2023. 07. 01.

Dental Radiography and Imaging인용 수 4

한 줄 요약

CephGPT-4는 시각적 대규모 언어 모델(VLLM)인 Minigpt-4와 VisualGLM를 사용하여 경추촬영 련이사진과 의사-환자 대화 데이터를 통합하는 혁신적인 다중모달 진단 시스템이다. U-Net 기반의 지표점 검출과 GPT가 생성한 진단 보고서를 포함한 맞춤형 치열교정 데이터셋을 활용하여 상호작용 가능한 경추촬영 측정 및 임상적 추론에서 뛰어난 성능을 보이며, 자동 치열교정 진단 분야에서 큰 잠재력을 보여준다.

ABSTRACT

Large-scale multimodal language models (LMMs) have achieved remarkable success in general domains. However, the exploration of diagnostic language models based on multimodal cephalometric medical data remains limited. In this paper, we propose a novel multimodal cephalometric analysis and diagnostic dialogue model. Firstly, a multimodal orthodontic medical dataset is constructed, comprising cephalometric images and doctor-patient dialogue data, with automatic analysis of cephalometric landmarks using U-net and generation of diagnostic reports. Then, the cephalometric dataset and generated diagnostic reports are separately fine-tuned on Minigpt-4 and VisualGLM. Results demonstrate that the CephGPT-4 model exhibits excellent performance and has the potential to revolutionize orthodontic measurement and diagnostic applications. These innovations hold revolutionary application potential in the field of orthodontics.

연구 동기 및 목표

• 시각적 대규모 언어 모델(VLLM)을 활용한 상호작용 가능하고 다중모달적인 치열교정 경추촬영 분석 진단 시스템을 개발하는 것.
• 다중모달 경추촬영 의료 데이터에 특화된 진단 언어 모델의 부족을 보완하는 것.
• 경추촬영 영상, 레이블링된 지표점, 실제 의사-환자 대화를 통합한 종합적인 치열교정 데이터셋을 구축하는 것.
• 시각-언어 모델을 경추촬영 데이터에 맞게 미세조정하여 정확한 진단 보고서 생성 및 측정 해석 기능을 가능하게 하는 것.
• 기본 모델 대비 임상적 추론 능력과 진단 정확도에서의 성능 평가를 수행하는 것.

제안 방법

• 경추촬영 련이사진, U-Net로 예측된 지표점 좌표, 그리고 합성된 의사-환자 대화 쌍을 통합한 다중모달 치열교정 데이터셋 구축.
• 측면 경추촬영도에서 해부학적 특징을 추출하기 위해 U-Net을 사용한 자동 경추촬영 지표점 검출.
• 의료 대화 및 영상 데이터에 기반해 훈련된 대규모 언어 모델을 활용한 임상 진단 보고서 생성.
• 구축된 경추촬영 데이터셋에 대해 Minigpt-4와 VisualGLM 두 개의 시각적 대규모 언어 모델을 미세조정하여 다중모달 이해 능력을 향상시키는 것.
• 이미지와 텍스트 모odal을 통합하여 대화 형식으로 상황 인식이 가능한 상호작용 가능한 진단 응답을 가능하게 하는 것.
• 진단 정확도와 지표점 검출 정밀도 측정을 위한 정성적 및 정량적 기준을 활용한 모델 성능 평가.

실험 결과

연구 질문

• RQ1 시각적 대규모 언어 모델이 경추촬영 련이사진을 효과적으로 해석하고 임상적으로 관련성이 있는 진단 보고서를 생성할 수 있는가?
• RQ2 다중모달 모델은 시각적 경추촬영 지표점과 자연어 대화를 얼마나 잘 통합하여 치열교정 진단을 수행할 수 있는가?
• RQ3 특화된 치열교정 데이터셋에 대한 미세조정이 일반 목적의 VLLM 대비 진단 추론 능력을 얼마나 향상시키는가?
• RQ4 시스템은 치열교정 분야의 임상적 의사결정 지원을 위해 상호작용 가능하고 상황 인식이 가능한 대화를 지원할 수 있는가?
• RQ5 Minigpt-4와 VisualGLM는 경추촬영 진단 작업에 적응했을 때 비교적으로 어떤 성능을 보이는가?

주요 결과

• CephGPT-4 모델은 경추촬영 영상과 대화 맥락에서 정확한 진단 보고서 생성 능력이 뛰어나다.
• 맞춤형 치열교정 데이터셋에 대한 미세조정은 제로샷 VLLM 추론 대비 진단의 관련성과 임상적 일관성에서 뚜렷한 향상을 보였다.
• U-Net 기반의 지표점 검출은 측면 경추촬영도에서 주요 해부학적 점을 높은 정밀도로 식별하는 데 성공했다.
• 모델는 시각적 및 텍스트 모달을 성공적으로 통합하여 상호작용 가능하고 다중턴의 진단 대화를 지원할 수 있었다.
• Minigpt-4와 VisualGLM 모두 치열교정 작업에 뛰어난 적응력을 보이며, 진단 추론 및 영상 이해 능력에서 경쟁적인 성능을 보였다.
• 시스템은 치열교정 진료 및 의사결정 지원 분야에서 실제 임상 현장 적용 가능성을 보였다.