[논문 리뷰] LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation, Generation and Editing

Wei-Ge Chen, Irina Spiridonova외 3명|arXiv (Cornell University)|2023. 11. 01.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

LLaVA-Interactive는 추가 학습 없이도 이미지 대화, 세분화, 이미지 생성/편집을 위한 사전 훈련된 모델을 조합함으로써, 스트로크, 드래그 앤 드롭, 경계 상자와 같은 시각적 프롬프트를 통해 풍부한 인간-AI 상호작용을 가능하게 하는 오픈소스이자 비용 효율적인 다중모odal AI 시스템이다. 이 시스템은 자연어와 시각적 입력을 모두 활용한 다회화 대화를 지원하여, 텍스트 중심 모델 대비 의도 이해도와 상호작용 참여도를 크게 향상시킨다.

ABSTRACT

LLaVA-Interactive is a research prototype for multimodal human-AI interaction. The system can have multi-turn dialogues with human users by taking multimodal user inputs and generating multimodal responses. Importantly, LLaVA-Interactive goes beyond language prompt, where visual prompt is enabled to align human intents in the interaction. The development of LLaVA-Interactive is extremely cost-efficient as the system combines three multimodal skills of pre-built AI models without additional model training: visual chat of LLaVA, image segmentation from SEEM, as well as image generation and editing from GLIGEN. A diverse set of application scenarios is presented to demonstrate the promises of LLaVA-Interactive and to inspire future research in multimodal interactive systems.

연구 동기 및 목표

• 텍스트 중심 입력을 초월하여 풍부한 상호작용을 지원하는 저비용, 오픈소스 다중모달 AI 시스템을 개발하는 것.
• 그림 편집, 세분화, 생성 작업에서 복잡한 사용자 의도를 표현하기 위해 그림 그리기, 드래그 앤 드롭, 경계 상자와 같은 시각적 프롬프트를 가능하게 하는 것.
• 추가 학습 없이도 LLaVA(시각 대화용), SEEM(세분화용), GLIGEN(이미지 생성/편집용)의 세 개의 사전 훈련된 다중모달 모델을 통합하는 것.
• 실생활 시나리오에서 시각과 언어 작업을 연결하는 통합된 상호작용 다중모달 에이전트의 가능성을 입증하는 것.
• 유연하고 확장 가능하며 공개된 프레임워크를 통해 향후 일반 목적의 다중모달 AI 에이전트 연구를 자극하는 것.

제안 방법

• 시스템은 세 개의 사전 훈련된 모델의 추론을 통합한다: LLaVA는 다중모달 이해 및 대화를 담당하고, SEEM은 개별 객체 세분화를 담당하며, GLIGEN은 이미지 생성 및 편집을 담당한다.
• 스트로크, 드래그 앤 드롭, 경계 상자와 같은 시각적 프롬프트를 사용해 사용자 의도를 직접 그림 위에 명시함으로써 세분화 및 편집 작업에서 정밀한 제어를 가능하게 한다.
• 인터페이스는 세 개의 패널로 구성된다: 그림 그리기 및 객체 선택을 위한 시각적 상호작용 패널, 자연어 상호작용을 위한 채팅 패널, 출력 결과를 표시하기 위한 결과 패널.
• 사용자 행동은 지문 지시와 시각적 신호를 통해 해석되며, 실시간으로 해당 모델 API에 매핑된다.
• 시스템은 다회화 대화 흐름을 통해 사용자 입력을 처리하고, 상호작용 간의 맥락을 유지하며 출력을 동적으로 업데이트한다.
• 모델 미세조정이나 프롬프트 엔지니어링이 필요 없으며, 모든 기능은 기존의 사전 훈련된 모델을 조율함으로써 달성된다.

Figure 1 : The user interface of LLaVA-Interactive. (a) The overall user interface layout with three main panels, among which the visual interaction panel consists of three tabs based on their functionalities. They are shown in magenta rounded rectangles, and detailed in (b,c,d), whose image output

실험 결과

연구 질문

• RQ1 다중모달 AI 시스템이 스트로크와 경계 상자와 같은 시각적 프롬프트를 효과적으로 해석하고 복잡한 이미지 편집 작업을 수행할 수 있는가?
• RQ2 다중모달 대화 시스템에서 텍스트 중심 프롬프트에 비해 시각적 프롬프트가 사용자 의도 이해도와 상호작용 참여도를 어떻게 향상시키는가?
• RQ3 사전 훈련된 모델을 조합한 시스템이 추가 학습 없이도 풍부하고 상호작용적인 기능을 얼마나 잘 달성할 수 있는가?
• RQ4 시각적 프롬프트가 다중모달 AI 에이전트의 사용성 향상에 기여하는 실질적 응용 시나리오는 무엇인가?
• RQ5 이러한 시스템이 GPT-4V와 같은 전용 모델에 대한 실질적인 오픈소스 대안으로서 상호작용 다중모달 에이전트를 구축하는 데 유용한가?

주요 결과

• LLaVA-Interactive는 자연어와 시각적 입력을 모두 활용한 다회화 다중모달 대화를 성공적으로 구현하여 사용자 의도 이해도가 향상됨을 입증했다.
• 시각적 프롬프트(예: 객체에 그리기, 세그먼트 드래그)는 텍스트 중심 명령어에 비해 세분화 및 편집 작업에서 정밀도와 표현력이 크게 향상됨을 보여주었다.
• 모델의 미세조정이나 추가 학습 없이도 세 개의 사전 훈련된 모델을 조율함으로써 이미지 대화, 세분화, 생성, 편집의 전 기능을 달성했다.
• 인테리어 디자인 및 이국적인 물체 탐지 사례 연구에서 시스템은 복잡한 사용자 요청을 해석하고 맥락에 부합하며 시각적으로 정확한 출력을 생성할 수 있었다.
• 이 시스템은 창의적이고 상호작용적인 분야에서 향후 다중모달 AI 에이전트를 구축하는 데 있어 뛰어난 유연성과 확장성을 지닌 프레임워크로 잠재력을 보였다.
• 코드베이스와 데모의 오픈소스 배포는 커뮤니티 주도의 혁신과 상호작용 다중모달 시스템의 향후 발전을 가능하게 했다.

Figure 2 : The workflow of LLaVA-Interactive.