[논문 리뷰] GenArtist: Multimodal LLM as an Agent for Unified Image Generation and Editing

Zhenyu Wang, Aoxue Li외 2명|arXiv (Cornell University)|2024. 07. 08.

Semantic Web and Ontologies인용 수 4

한 줄 요약

GenArtist는 복잡한 프롬프트를 분해하고, 수목 구조의 실행 흐름을 통해 작업을 계획하며, 도구 라이브러리에서 동적으로 도구를 선택하여 이미지를 생성하고 자가 보정하는 다중모odal 대규모 언어모델(MLLM) 에이전트를 기반으로 한 통합된 이미지 생성 및 편집 시스템을 제안한다. 이는 계획, 검증, 위치 인식 기반 도구 실행을 통합함으로써 벤치마크 과제에서 최신 기술 수준(SOTA) 성능을 달성하며, SDXL 및 DALL-E 3와 같은 모델들을 능가한다.

ABSTRACT

Despite the success achieved by existing image generation and editing methods, current models still struggle with complex problems including intricate text prompts, and the absence of verification and self-correction mechanisms makes the generated images unreliable. Meanwhile, a single model tends to specialize in particular tasks and possess the corresponding capabilities, making it inadequate for fulfilling all user requirements. We propose GenArtist, a unified image generation and editing system, coordinated by a multimodal large language model (MLLM) agent. We integrate a comprehensive range of existing models into the tool library and utilize the agent for tool selection and execution. For a complex problem, the MLLM agent decomposes it into simpler sub-problems and constructs a tree structure to systematically plan the procedure of generation, editing, and self-correction with step-by-step verification. By automatically generating missing position-related inputs and incorporating position information, the appropriate tool can be effectively employed to address each sub-problem. Experiments demonstrate that GenArtist can perform various generation and editing tasks, achieving state-of-the-art performance and surpassing existing models such as SDXL and DALL-E 3, as can be seen in Fig. 1. Project page is https://zhenyuw16.github.io/GenArtist_page.

연구 동기 및 목표

• 기존의 이미지 생성 및 편집 모델이 복잡하고 다양한 사용자 프롬프트를 다루는 데 어려움을 겪는 문제를 해결하기 위해.
• 현재 모델들이 검증 및 자가 보정 메커니즘의 부재로 인해 신뢰할 수 없는 출력을 내보내는 문제를 해결하기 위해.
• 다양한 작업을 처리할 수 있는 지능형 에이전트 협업을 통해 여러 전문 모델을 하나의 시스템으로 통합하기 위해.
• 복잡한 작업을 분해하고 단계별로 계획하며 검증함으로써 신뢰성 있고 정확하며 제어 가능한 이미지 생성 및 편집을 가능하게 하기 위해.

제안 방법

• MLLM 에이전트는 사용자 지시를 분석하고 복잡한 텍스트 프롬프트 또는 편집 지시를 더 단순한 하위 문제로 분해하는 AI '작가'로 기능한다.
• 수목 구조의 계획 메커니즘이 하위 작업을 조직하며, 각 노드는 작업을 나타내며 자식 노드는 순차적 행동을, 형제 노드는 대체 도구를 나타낸다.
• 기존 모델들(예: 텍스트-이미지, 레이아웃-이미지, 편집 도구 등)을 통합한 포괄적인 도구 라이브러리를 활용하여 실행의灵活性를 높인다.
• 보조 검출 모델을 통해 공간 입력(예: 객체 위치)이 누락된 경우 자동으로 보완함으로써 위치 인식 기반 실행을 가능하게 하여 도구 정확도를 향상시킨다.
• 계획 수목의 각 단계에는 실행 정확성을 보장하기 위한 검증이 포함되어 있으며, 실패한 작업은 재생산 또는 대체 도구 사용과 같은 수정 조치를 유도한다.
• 검증에 실패할 경우 입력을 수정하거나 대체 도구를 사용하여 작업을 재실행함으로써 자가 보정을 달성하여 신뢰성을 향상시킨다.

실험 결과

연구 질문

• RQ1 MLLM 에이전트는 복잡하고 다중 객체 또는 다단계 이미지 생성 및 편집 프롬프트를 관리 가능한 하위 작업으로 효과적으로 분해할 수 있는가?
• RQ2 단계별 검증을 포함한 수목 구조의 계획이 종단 간(end-to-end) 모델에 비해 이미지 생성 및 편집의 신뢰성과 정확도를 어떻게 향상시키는가?
• RQ3 동적 도구 선택 기능을 갖춘 통합 시스템이 SDXL 및 DALL-E 3와 같은 전문 모델보다 다양한 복잡한 사용자 요구사항을 얼마나 뛰어나게 처리할 수 있는가?
• RQ4 공간 입력이 누락된 경우 위치 인식 기반 도구 실행은 객체 수준 편집의 정확도를 얼마나 향상시키는가?
• RQ5 자가 보정 메커니즘은 이미지 생성 및 편집 과제에서 실패율을 크게 감소시킬 수 있는가?

주요 결과

• GenArtist는 T2I-CompBench 벤치마크에서 최신 기술 수준 성능을 달성하였으며, 복잡성 속성 벤치마크에서 0.8482의 점수를 기록하여 SDXL(0.5879) 및 기타 선도적 모델들을 능가했다.
• 도구 선택 기능만으로도 베이스라인 도구 대비 평균 13.8% 향상된 성능을 기록하여 지능형 모델 선택의 가치를 입증했다.
• 계획 체인(순차적 검증)을 사용함으로써 평균 3% 향상된 성능을 기록하여 단계별 검증의 이점을 입증했다.
• 수목 구조의 계획 메커니즘을 도입함으로써 체인 기반 계획 대비 평균 12.5% 향상된 성능을 기록하여, 실패 상황에서 대체 경로를 처리함으로써 복원력이 향상됨을 보여주었다.
• 시스템은 실패한 편집 작업(예: 잘못된 객체 색상 또는 크기)을 대체 도구(예: 객체 제거 및 재추가)로 교체함으로써 생성된 이미지의 오류를 성공적으로 보정하였다.
• 시각적 예시를 통해 GenArtist는 초기 출력이 실패했을 경우 향상된 헤어 디테일을 갖춘 이미지를 재생산함으로써 복잡한 편집을 정확히 처리할 수 있음을 입증하였으며, 자가 보정의 효과성을 입증했다.