[논문 리뷰] Keep Drawing It: Iterative language-based image generation and editing.

Alaaeldin El-Nouby, Shikhar Sharma외 6명|arXiv (Cornell University)|2018. 11. 24.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

이 논문은 지속적인 언어적 피드백에 기반하여 반복적으로 이미지를 생성하고 편집하는 순환적 이미지 생성 모델을 제안한다. 이 모델은 단계 간의 맥락을 유지하며, 객체 추가, 배경 수정, 오류 수정과 같은 상호작용형 편집을 가능하게 하여 동적인 사용자 중심의 이미지 합성으로 나아가는 핵심 단계를 보여준다.

ABSTRACT

Conditional text-to-image generation approaches commonly focus on generating a single image in a single step. One practical extension beyond one-step generation is an interactive system that generates an image iteratively, conditioned on ongoing linguistic input / feedback. This is significantly more challenging as such a system must understand and keep track of the ongoing context and history. In this work, we present a recurrent image generation model which takes into account both the generated output up to the current step as well as all past instructions for generation. We show that our model is able to generate the background, add new objects, apply simple transformations to existing objects, and correct previous mistakes. We believe our approach is an important step toward interactive generation.

연구 동기 및 목표

• 단일 스텝 생성을 넘어서 반복적이고 언어 조건 기반의 편집을 지원하는 상호작용형 이미지 생성 시스템을 개발하는 것.
• 다수의 생성 단계와 언어 지시어 간의 맥락 인식을 유지하는 과제를 해결하는 것.
• 예를 들어 객체 추가, 배경 수정, 오류 수정과 같은 자연어 피드백를 통해 동적 이미지 편집을 가능하게 하는 것.
• 시각적 및 언어적 모odal 간의 장기적 의존성을 모델링하여 일관되고 진화하는 이미지 생성을 가능하게 하는 것.

제안 방법

• 모델는 현재 이미지 출력과 이전 지시어의 전체 역사를 모두 고려하여 처리하는 순환 아키텍처를 사용한다.
• 언어적 역사에서의 변화하는 사용자 의도를 포착하기 위해 트랜스포머 기반 인코더를 사용하여 임베딩을 수행한다.
• 이미지 생성은 현재 이미지의 잠재 표현과 지시어의 인코딩된 역사를 모두 조건으로 삼는다.
• 교차 어텐션 메커니즘을 통해 시각적 표현과 텍스처 표현을 통합하여 언어 피드백와 이미지 영역 간의 정렬을 달성한다.
• 학습 과정은 이미지 생성 단계의 시퀀스로 구성되며, 각 단계에서 새로운 언어 입력과 이전 맥락을 바탕으로 이미지를 개선한다.
• 엔드 투 엔드 미분 가능한 최적화를 통해 객체 추가, 변형, 오류 수정과 같은 점진적 편집을 지원한다.

실험 결과

연구 질문

• RQ1 순환적 이미지 생성 모델이 다수의 편집 단계에 걸쳐 언어적 및 시각적 맥락을 효과적으로 유지하고 활용할 수 있는가?
• RQ2 오직 자연어 피드백만으로도 복잡한 편집 작업(예: 새로운 객체 추가, 이전 실수 수정)을 얼마나 잘 수행할 수 있는가?
• RQ3 이전 입력을 무시하는 모델에 비해 전체 지시어 역사를 통합할 경우, 생성된 이미지의 일관성과 정확도가 얼마나 향상되는가?
• RQ4 배경 변경이나 객체 변형을 포함한 다양한 편집 작업에 대해 상호작용 환경에서 일반화할 수 있는가?

주요 결과

• 모델는 사용자가 제공한 언어적 피드백와 일관성을 유지하면서 다수의 반복 단계를 거쳐 이미지를 생성하고 편집하는 데 성공했다.
• 자연어 지시에 기반하여 이미지에 새로운 객체를 추가하거나 기존 객체를 수정하고, 이전 오류를 수정할 수 있는 능력을 보였다.
• 전체 지시어 역사를 통합할 경우, 과거 입력을 무시하는 모델에 비해 더 일관되고 맥락에 부합하는 이미지 편집 결과를 얻을 수 있었다.
• 단일 통합 프레임워크 내에서 배경 생성, 객체 삽입, 변형 등 다양한 편집 작업을 지원하는 것으로 나타났다.