[논문 리뷰] Surgical-LVLM: Learning to Adapt Large Vision-Language Model for Grounded Visual Question Answering in Robotic Surgery

Guankun Wang, Long Bai외 8명|arXiv (Cornell University)|2024. 03. 22.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

Surgical-LVLM은 Visual Perception LoRA와 Token-Interaction 모듈로 대규모 비전-언어 모델을 개인화하여 외과-VQA의 근거 제시와 추론을 개선하고 EndoVis 데이터셋에서 최첨단 결과를 달성합니다.

ABSTRACT

Recent advancements in Surgical Visual Question Answering (Surgical-VQA) and related region grounding have shown great promise for robotic and medical applications, addressing the critical need for automated methods in personalized surgical mentorship. However, existing models primarily provide simple structured answers and struggle with complex scenarios due to their limited capability in recognizing long-range dependencies and aligning multimodal information. In this paper, we introduce Surgical-LVLM, a novel personalized large vision-language model tailored for complex surgical scenarios. Leveraging the pre-trained large vision-language model and specialized Visual Perception LoRA (VP-LoRA) blocks, our model excels in understanding complex visual-language tasks within surgical contexts. In addressing the visual grounding task, we propose the Token-Interaction (TIT) module, which strengthens the interaction between the grounding module and the language responses of the Large Visual Language Model (LVLM) after projecting them into the latent space. We demonstrate the effectiveness of Surgical-LVLM on several benchmarks, including EndoVis-17-VQLA, EndoVis-18-VQLA, and a newly introduced EndoVis Conversations dataset, which sets new performance standards. Our work contributes to advancing the field of automated surgical mentorship by providing a context-aware solution.

연구 동기 및 목표

• 외과 VQA 및 VQLA 작업에서 도메인 특화 근거 필요성의 동기 부여.
• 복잡한 외과 시나리오를 위한 개인화된 LVLM으로 Surgical-LVLM 제안.
• 장거리 맥락 이해를 가능하게 하는 Visual Perception LoRA(VP-LoRA) 도입.
• 언어 응답을 시각적 근거와 정렬시키는 Token-Interaction(TIT) 모듈 개발.
• EndoVis-17/18 VQLA 데이터셋과 새로운 EndoVis Conversations 데이터셋에서 접근 방식 검증.

제안 방법

• 전 VP-LoRA 블록을 LoRA 계층에 삽입하여 글로벌 맥락을 전파하는 Qwen-VL 미세 조정.
• TIT 모듈을 통해 Qwen-VL의 언어 출력과 CAT-ViL 근거를 융합하기 위한 투사 기반 다중모달 정렬 도입.
• 두 단계 학습 사용: (i) 외과 QA 쌍에 대한 비전-언어 명령어 미세 조정, (ii) 언어와 근거 모듈 간 다중모달 근거 정렬.
• Qwen-VL 형식을 따라 GPT-4로 생성된 EndoVis 기반 명령어 튜닝 데이터세트 구성.
• CAT-ViL 공동 주의 임베딩을 근거로 활용하고 중요한 시각-언어 토큰을 강조하는 토큰 상호 작용 경로를 통합.

실험 결과

연구 질문

• RQ1 개인화된 LVLM이 로봇 수술에서 근거 있는 VQA를 효과적으로 수행하도록 적응될 수 있는가?
• RQ2 VP-LoRA 블록이 수술 맥락에서 장거리 시각-언어 이해를 향상시키는가?
• RQ3 지시 미세 조정과 다중모달 근거 정렬이 EndoVis 작업에서 최첨단 근거 제시와 추론을 이끌어내는가?
• RQ4 Surgical-LVLM은 EndoVis-17/18 VQLA 및 새로운 EndoVis Conversations 데이터셋에서 어떤 성능을 보이는가?
• RQ5 VP-LoRA 및 다중모달 정렬에 대한 삭제(ablations)가 전체 성능에 미치는 영향은 무엇인가?

주요 결과

• VP-LoRA와 명령어 미세 조정이 EndoVis-18-VQLA 및 EndoVis-17-VQLA 비교에서 EndoVis Conversations 데이터셋의 GPT-4 스타일 점수 최고치를 달성합니다(예: 각각 90.68 및 83.24).
• 지시 미세 조정은 외과 도메인에서 논리적 추론과 응답을 크게 향상시킵니다.
• VP-LoRA는 언어 응답 품질과 근거 성능을 지속적으로 향상시킵니다.
• 다중모달 정렬(MA)과 VP-LoRA를 병용하면 전체 근거 성능이 가장 좋고, 결합 시 상승 시너지 효과가 나타납니다.
• EndoVis-18-VQLA에서 Surgical-LVLM은 Acc 0.6947, F-Score 0.3325, mIoU 0.8416; EndoVis-17-VQLA에서 Acc 0.4068, F-Score 0.3412, mIoU 0.7825.