[논문 리뷰] Dermacen Analytica: A Novel Methodology Integrating Multi-Modal Large Language Models with Machine Learning in tele-dermatology

Dimitrios P. Panagoulias, Evridiki Tsoureli‐Nikita외 2명|arXiv (Cornell University)|2024. 03. 21.

Cutaneous Melanoma Detection and ManagementMedicine인용 수 3

한 줄 요약

Dermacen Analytica는 다중모달 대규모 언어모델(GPT-4V)과 기계학습을 융합한 혁신적인 AI 기반 워크플로우를 제안하며, 시각적 분석과 텍스트 분석을 통합하여 전자피부과 진단의 정확성과 맥락 이해도를 향상시킨다. 시스템은 교차 모델 검증 및 전문가 평가를 통해 진단 정확도와 맥락 이해도 모두에서 가중치 점수 0.87을 달 đạt했다.

ABSTRACT

The rise of Artificial Intelligence creates great promise in the field of medical discovery, diagnostics and patient management. However, the vast complexity of all medical domains require a more complex approach that combines machine learning algorithms, classifiers, segmentation algorithms and, lately, large language models. In this paper, we describe, implement and assess an Artificial Intelligence-empowered system and methodology aimed at assisting the diagnosis process of skin lesions and other skin conditions within the field of dermatology that aims to holistically address the diagnostic process in this domain. The workflow integrates large language, transformer-based vision models and sophisticated machine learning tools. This holistic approach achieves a nuanced interpretation of dermatological conditions that simulates and facilitates a dermatologist's workflow. We assess our proposed methodology through a thorough cross-model validation technique embedded in an evaluation pipeline that utilizes publicly available medical case studies of skin conditions and relevant images. To quantitatively score the system performance, advanced machine learning and natural language processing tools are employed which focus on similarity comparison and natural language inference. Additionally, we incorporate a human expert evaluation process based on a structured checklist to further validate our results. We implemented the proposed methodology in a system which achieved approximate (weighted) scores of 0.87 for both contextual understanding and diagnostic accuracy, demonstrating the efficacy of our approach in enhancing dermatological analysis. The proposed methodology is expected to prove useful in the development of next-generation tele-dermatology applications, enhancing remote consultation capabilities and access to care, especially in underserved areas.

연구 동기 및 목표

• 피부 병변에 대한 AI 기반의 통합 진단 워크플로우를 개발하여 피부과 전문의의 사고 방식을 모방한다.
• 다중모달 AI 모델을 활용해 전자피부과 진료의 진단 정확도와 효율성을 향상시킨다.
• 특히 자원이 부족한 지역에서의 원격 피부과 진료의 한계를 해결한다.
• 설명 가능 AI, 세그멘테이션, 근거 기반 기준을 통합된 진단 파이프라인에 통합한다.
• 교차 모델, NLP 기반, 전문가가 애너테이션한 평가 프레임워크를 통해 시스템을 검증한다.

제안 방법

• 시스템은 피부 병변 영상과 임상 기술서의 시각적·텍스트적 이해를 위한 다중모달 LLM인 GPT-4V를 통합한다.
• 병변의 형태, 크기, 색상, 질감 분석을 포함한 기능 추출을 위한 고급 기계학습 도구를 적용한다.
• 세그멘테이션 알고리즘을 통해 병변을 주변 피부에서 분리하여 관심 영역 분석을 정밀하게 수행한다.
• 임상 지침에 기반한 실용적인 피부과 기준을 통합하여 의학적 관련성과 일관성을 확보한다.
• NLP 기법—유사도 비교 및 자연어 추론(NLI)—을 활용한 유사도 평가를 통해 진단 추론 점수를 산정하는 교차 모델 검증 파이프라인을 운영한다.
• 골드 표준 진단과 비교하여 시스템 출력을 검증하기 위해 구조화된 체크리스트를 활용한 인간 전문가 평가를 실시한다.

Figure 1: Dermacen Analytica, proposed AI-empowered dermatology workflow

실험 결과

연구 질문

• RQ1 다중모달 LLM 기반 시스템이 전자피부과 진료에서 높은 진단 정확도와 맥락 추론 능력을 달성할 수 있는가?
• RQ2 시각 트랜스포머와 NLP의 통합이 진단 일관성과 설명 가능성에 어떤 영향을 미치는가?
• RQ3 시스템의 성능가 인간 피부과 전문의의 진단 추론 및 정확도 수준과 얼마나 유사한가?
• RQ4 다중 모델 협업과 검증을 통해 진단 오류와 환각 현상을 줄일 수 있는가?
• RQ5 원격 또는 자원이 부족한 지역에서 피부과 진료 접근성을 향상시키는 데에 시스템이 얼마나 효과적인가?

주요 결과

• 시스템은 진단 정확도와 맥락 이해도 모두에서 가중치 점수 0.87을 달성하여 뛰어난 성능을 보였다.
• 자연어 추론(NLI)과 유사도 점수 기반의 NLP 평가로 정확한 진단과 예측 진단 간의 높은 일치도가 확인되었다.
• 인간 전문가 평가에서 평균 점수 4.31점(만점 5점)을 기록하여 정규화된 기준으로 약 0.86에 해당했다.
• 교차 모델 검증 파이프라인을 통해 다중 모odal 일관성 검증을 실시함으로써 환각 현상이 효과적으로 감소하고 진단 신뢰도가 향상되었다.
• 근거 기반 평가 기준을 활용해 다양한 피부 질환과 병변에 대해 뛰어난 적응력을 보였다.
• 이러한 방법론은 확장 가능하며, 특히 자원이 부족한 환경에서의 차세대 전자피부과 응용 분야에 적합하다.

Figure 2: Reducing the knowledge space