[논문 리뷰] Paint by Word.

David Bau, Alex Andonian외 5명|arXiv (Cornell University)|2021. 03. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 51인용 수 10

한 줄 요약

이 논문은 생성 모델과 텍스트-이미지 유사도 네트워크를 사용하여 사용자가 특정 이미지 영역에 '빈티지' 또는 '행복한 개'와 같은 임의의 텍스트 개념을 적용할 수 있는 제로샷 의미적 이미지 페인팅 방법을 소개한다. 비경로 기반의 잠재 공간 탐색과 영역 대상 GAN 정련을 결합함으로써, 기준 모델 대비 더 현실적이고 의미적으로 정확한 편집을 달성하였으며, 사용자 연구를 통해 검증되었다.

ABSTRACT

We investigate the problem of zero-shot semantic image painting. Instead of painting modifications into an image using only concrete colors or a finite set of semantic concepts, we ask how to create semantic paint based on open full-text descriptions: our goal is to be able to point to a location in a synthesized image and apply an arbitrary new concept such as rustic or opulent or happy dog. To do this, our method combines a state-of-the art generative model of realistic images with a state-of-the-art text-image semantic similarity network. We find that, to make large changes, it is important to use non-gradient methods to explore latent space, and it is important to relax the computations of the GAN to target changes to a specific region. We conduct user studies to compare our methods to several baselines.

연구 동기 및 목표

• 사전에 정의된 색상 팔레트나 제한된 개념이 아닌, 임의의 개방형 텍스트 기반 서술을 사용한 의미적 이미지 편집을 가능하게 하기 위해.
• 피팅 또는 레이블이 없는 조건에서 특정 이미지 영역에 큰 의미적 변화를 주는 도전 과제를 해결하기 위해.
• 비경로 기반의 잠재 공간 탐색과 영역 특화된 GAN 최적화가 편집 품질과 현실성에 어떻게 기여하는지 탐색하기 위해.
• 기존 기준 모델과의 비교를 통해 사용자 연구를 통해 방법의 효과성을 평가하기 위해.

제안 방법

• 고품질 이미지를 편집의 기반으로 삼기 위해 최신 생성 모델(예: StyleGAN)을 활용하여 고해상도 이미지를 합성한다.
• 사전 학습된 텍스트-이미지 의미 유사도 네트워크를 통합하여 텍스트 프롬프트를 이미지 특징와 공유 임베딩 공간에 매핑한다.
• 목표 텍스트 개념과 일치하는 잠재 코드를 찾기 위해 비경로 최적화를 사용하여 잠재 공간을 탐색한다.
• 전역 이미지 일관성을 유지하기 위해, GAN 손실을 목표 영역에 집중시킴으로써 영역 특화된 GAN 정련을 적용한다.
• 텍스트 임베딩과 공간적 어텐션을 결합하여 특정 이미지 위치로 편집을 유도한다.
• 두 단계 과정을 사용한다: 첫 번째로 텍스트 가이던스를 통한 잠재 코드 최적화; 두 번째로 국소화된 GAN 역전환 및 정련을 통한 고해상도 편집.

실험 결과

연구 질문

• RQ1 피팅 없이도 임의의 개방형 텍스트 기반 서술을 사용하여 제로샷 의미적 이미지 페인팅을 달성할 수 있는가?
• RQ2 편집 품질과 의미 정확도 측면에서 비경로 기반의 잠재 공간 탐색은 경로 기반 방법보다 어떻게 비교되는가?
• RQ3 전역 GAN 최적화에 비해 영역 대상 GAN 정련이 편집의 현실성과 일관성에 얼마나 기여하는가?
• RQ4 사용자들은 제안된 방법이 기존 기준 모델 대비 의미 정확도와 시각적 품질에서 어떻게 평가하는가?

주요 결과

• 제안된 방법은 '빈티지' 또는 '세련된'과 같은 임의의 텍스트 개념을 레이블 데이터나 사전 정의된 카테고리 없이 이미지 편집에 적용하는 데 성공했다.
• 사용자 연구 결과, 방법이 의미 정확도와 시각적 현실성 측면에서 기존 기준 모델 대비 뚜렷하게 뛰어난 성능을 보였다.
• 비경로 기반의 잠재 공간 탐색은 경로 기반 대안 대비 더 다양한 의미적으로 일관된 편집을 이끌어냈다.
• 영역 특화된 GAN 정련은 전역 이미지 구조를 유지하면서도 고해상도 국소 편집을 가능하게 하여 아티팩트와 일관성 없는 요소를 줄였다.
• 전역 GAN 최적화나 고정된 개념 세트에 의존하는 방법에 비해, 사용자 만족도가 더 높은 편집 품질과 개념 일치도를 달성했다.