[논문 리뷰] Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models

Chenfei Wu, Shengming Yin외 4명|arXiv (Cornell University)|2023. 03. 08.

Multimodal Machine Learning Applications인용 수 187

한 줄 요약

Visual ChatGPT는 이미지 이해, 생성, 다단계 시각 작업을 언어를 통해 처리하기 위한 프롬프트 매니저를 통해 ChatGPT를 여러 비주얼 파운데이션 모델과 통합합니다. 이는 다중 모델 비주얼 추론을 재훈련 없이 가능하게 해줍니다.

ABSTRACT

ChatGPT is attracting a cross-field interest as it provides a language interface with remarkable conversational competency and reasoning capabilities across many domains. However, since ChatGPT is trained with languages, it is currently not capable of processing or generating images from the visual world. At the same time, Visual Foundation Models, such as Visual Transformers or Stable Diffusion, although showing great visual understanding and generation capabilities, they are only experts on specific tasks with one-round fixed inputs and outputs. To this end, We build a system called extbf{Visual ChatGPT}, incorporating different Visual Foundation Models, to enable the user to interact with ChatGPT by 1) sending and receiving not only languages but also images 2) providing complex visual questions or visual editing instructions that require the collaboration of multiple AI models with multi-steps. 3) providing feedback and asking for corrected results. We design a series of prompts to inject the visual model information into ChatGPT, considering models of multiple inputs/outputs and models that require visual feedback. Experiments show that Visual ChatGPT opens the door to investigating the visual roles of ChatGPT with the help of Visual Foundation Models. Our system is publicly available at \url{https://github.com/microsoft/visual-chatgpt}.

연구 동기 및 목표

• 프로그래머블 프롬프트 매니저를 통해 기존의 Visual Foundation Models(VFMs)을 활용하여 시각적 이해와 생성을 ChatGPT에 확장한다.
• 자연스러운 언어 프롬프트를 통해 ChatGPT가 VFMs를 호출하여 복합적인 시각 작업을 수행하도록 다회차, 다중 모델 워크플로를 가능하게 한다.
• 시각 신호를 언어로 변환하고 모델 입력/출력 및 히스토리를 관리함으로써 다중 모달 작업의 신뢰성과 일관성을 향상한다.

제안 방법

• (a) VFMs 및 그 입력/출력 형식에 대해 ChatGPT에 정보를 제공하고, (b) 시각 데이터를 언어로 변환하고, (c) 모델 히스토리, 우선순위, 충돌을 처리한다.
• ChatGPT가 순차적으로 여러 VFMs를 호출하여 복합 사용자의 요청을 충족하는 파이프라인을 도입한다.
• 시스템 원칙과 엄격한 추론 형식을 정의하여 조작 오인을 방지하고 도구 사용을 안내하며 파일 이름 민감성 및 CoT와 유사한 다단계 추론을 포함한다.
• 중간 VFM 출력을 체인형 파일 이름으로 표현하여 출처를 보존하고 후속 단계를 용이하게 한다.
• 구조화된 프롬프트 체계를 통해 입력/출력이 설명된 22개의 VFMs를 광범위하게 지원하고 제로샷, 다회차 협업을 가능하게 한다.

실험 결과

연구 질문

• RQ1 언어 모델(ChatGPT)이 재훈련 없이 다양한 VFMs를 효과적으로 오케스트레이션하여 다단계 시각 작업을 수행하도록 할 수 있을까?
• RQ2 신뢰할 수 있고 해석 가능하며 확장 가능한 다중 모델 시각 워크플로를 가능하게 하는 프롬프트 엔지니어링 전략(시스템 프롬프트, VFM 프롬프트, 쿼리 프롬프트)은 무엇인가?
• RQ3 디스패처와 같은 프롬프트 매니저가 복잡한 이미지 편집 및 생성 작업 전반에서 올바른 VFM 사용, 데이터 형식화, 출처 추적을 보장할 수 있는가?

주요 결과

• Visual ChatGPT는 반복적 VFM 조정을 통한 이미지 이해 및 생성을 위한 언어 기반 상호 작용을 가능하게 한다.
• 프롬프트 매니저는 비언어적 신호를 언어로 효과적으로 매핑하고, VFM의 기능을 정의하며, 모델 간의 입력/출력 및 히스토리를 관리한다.
• 사례 연구와 정성 분석은 시스템 원칙, VFM 프롬프트, 및 쿼리 프롬프트가 다회 차 다중 모델 시각 작업의 성공에 어떤 영향을 주는지 보여준다.