[논문 리뷰] SkinGEN: an Explainable Dermatology Diagnosis-to-Generation Framework with Interactive Vision-Language Models

Bo Lin, Yingjing Xu외 4명|arXiv (Cornell University)|2024. 04. 23.

Biomedical Text Mining and Ontologies인용 수 4

한 줄 요약

SkinGEN은 Stable Diffusion와 LoRA 미세조정을 사용하여 VLM 예측에서 개인화되고 현실적인 피부 상태 이미지를 생성함으로써 피부과 진단의 설명 가능성을 향상시키는 새로운 상호작용형 비전-언어 프레임워크이다. 기존 모델 대비 사용자 신뢰도, 이해도 및 인지 부하 감소에 기여하여 피부과 분야 응용에서 뛰어난 시각적 설명 가능성을 입증한다.

ABSTRACT

With the continuous advancement of vision language models (VLMs) technology, remarkable research achievements have emerged in the dermatology field, the fourth most prevalent human disease category. However, despite these advancements, VLM still faces explainable problems to user in diagnosis due to the inherent complexity of dermatological conditions, existing tools offer relatively limited support for user comprehension. We propose SkinGEN, a diagnosis-to-generation framework that leverages the stable diffusion(SD) model to generate reference demonstrations from diagnosis results provided by VLM, thereby enhancing the visual explainability for users. Through extensive experiments with Low-Rank Adaptation (LoRA), we identify optimal strategies for skin condition image generation. We conduct a user study with 32 participants evaluating both the system performance and explainability. Results demonstrate that SkinGEN significantly improves users' comprehension of VLM predictions and fosters increased trust in the diagnostic process. This work paves the way for more transparent and user-centric VLM applications in dermatology and beyond.

연구 동기 및 목표

• 피부과 비전-언어 모델(VLM)의 시각적 설명 가능성 부족 문제를 해결하여 사용자 이해도 및 신뢰도 향상에 기여한다.
• 진단 및 대체 피부 상태에 대한 직관적인 시각적 예시 제공를 통해 VLM 기반 피부과 진단에서의 환각 현상과 인지 부하를 감소시킨다.
• 진단과 실시간으로 개인화된 이미지 생성을 통합한 사용자 중심의 프레임워크를 개발하여 임상적 해석 가능성을 향상시킨다.
• 시각적 설명 가능성이 피부과 의사결정 지원 시스템에서 사용자 인식, 신뢰도 및 사용성에 미치는 영향을 평가한다.
• 통제된 이미지 생성을 통해 피부과 분야뿐 아니라 다른 분야에도 확장 가능한 투명하고 상호작용 가능한 VLM 응용의 새로운 패러다임을 구축한다.

제안 방법

• SkinGEN은 이중 단계 파이프라인을 활용한다: 첫 번째 단계에서 VLM이 사용자가 업로드한 피부 이미지를 분석하고 주요 진단 및 가능한 감별 진단을 제시한다.
• 두 번째 단계에서 영향을 받은 피부 부위의 마스킹 표현을 생성하여 조건부 이미지 생성을 유도한다.
• 저랭크 적응(LoRA)과 IP-Adapter 미세조정을 활용해 Stable Diffusion를 제어하여 진단된 피부 상태 및 대체 상태의 고해상도이고 현실적인 시각화를 생성한다.
• 생성된 이미지는 사용자가 증상 간 비교를 통해 진단 이론을 이해할 수 있도록 시각적 설명으로 기능한다.
• 사용자 상호작용은 채팅 기반 인터페이스를 통해 이루어지며, 진단의 명확화 및 유사 조건 예시 검색 기능을 제공한다.
• 32명의 참가자가 참여한 사용자 연구를 통해 SkinGEN이 기존 두 가지 기준 시스템과 비교하여 신뢰도, 이해도 및 인지 부하 측면에서 평가되었다.

실험 결과

연구 질문

• RQ1 VLM 기반 피부과 진단에 시각적 생성 기능을 통합할 경우 사용자 시스템에 대한 신뢰도에 어떤 영향을 미치는가?
• RQ2 개인화된 시각적 예시 생성이 복잡한 피부과 진단에 대한 사용자 이해도를 얼마나 향상시키는가?
• RQ3 SkinGEN은 기준 시스템 대비 사용자 인식 사용성 및 인지 부하 측면에서 어떻게 비교되는가?
• RQ4 LoRA, IP-Adapter 등의 미세조정 전략 중 어떤 것이 가장 현실적이고 관련성이 높은 피부질환 이미지를 생성하는 데 가장 효과적인가?
• RQ5 상호작용형 비전-언어 기반 이미지 생성이 피부과 분야에서 VLM 예측의 해석 가능성을 향상시킬 수 있는가?

주요 결과

• 사용자 연구에서 SkinGEN은 기준 시스템 대비 뚜렷이 높은 사용자 신뢰도를 보였으며, 사용자 평가에서 더 신뢰할 만하다고 평가받았다(p < 0.05).
• 사용자들은 SkinGEN의 설명이 평범한 VLM 출력이나 사례 기반 검색 시스템 대비 이해하기 쉽고, 더 적은 인지 부하를 유발했다고 평가했다.
• 생성된 피부질환 이미지의 시각적 현실감에 대한 평균 점수는 5점 만점에 4.16점으로, 높은 시각적 정밀도와 사용자 수용도를 나타냈다.
• 사용자들은 높은 유용성을 경험했으며, 시스템 총합 유용성에 대한 평균 점수는 4.38점, 향후 사용 의지에 대한 평균 점수는 4.31점이었다.
• LoRA와 IP-Adapter의 통합은 안정적이고 제어 가능한 이미지 생성을 가능하게 했으며, 최적화된 프롬프팅 및 어댑터 설정이 가장 우수한 결과를 도출했다.
• 유사한 피부 상태 간의 시각적 비교를 가능하게 하여 진단의 모호성을 효과적으로 줄였고, 사용자 자신감 향상과 이해도 향상에 기여했다.