[논문 리뷰] ManiTrans: Entity-Level Text-Guided Image Manipulation via Token-wise Semantic Alignment and Generation

Jianan Wang, Guansong Lu외 4명|arXiv (Cornell University)|2022. 04. 09.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

ManiTrans는 토큰 단위의 의미적 정렬과 대비적 언어-이미지 사전학습(클립) 손실을 사용하여 개체 수준의 텍스트 유도 이미지 편집을 위한 새로운 트랜스포머 기반 프레임워크를 제안한다. 이는 관련이 없는 영역을 유지하면서 객체의 질감, 색상, 구조를 정밀하게 편집할 수 있도록 한다. 자연어 기반 기술 설명에 따라 CUB, 옥스포드, COCO 데이터셋에서 최신 기술 수준의 성능을 달성하며, 세밀한 다중 객체 편집을 가능하게 한다.

ABSTRACT

Existing text-guided image manipulation methods aim to modify the appearance of the image or to edit a few objects in a virtual or simple scenario, which is far from practical application. In this work, we study a novel task on text-guided image manipulation on the entity level in the real world. The task imposes three basic requirements, (1) to edit the entity consistent with the text descriptions, (2) to preserve the text-irrelevant regions, and (3) to merge the manipulated entity into the image naturally. To this end, we propose a new transformer-based framework based on the two-stage image synthesis method, namely extbf{ManiTrans}, which can not only edit the appearance of entities but also generate new entities corresponding to the text guidance. Our framework incorporates a semantic alignment module to locate the image regions to be manipulated, and a semantic loss to help align the relationship between the vision and language. We conduct extensive experiments on the real datasets, CUB, Oxford, and COCO datasets to verify that our method can distinguish the relevant and irrelevant regions and achieve more precise and flexible manipulation compared with baseline methods. The project homepage is \url{https://jawang19.github.io/manitrans}.

연구 동기 및 목표

• 실세계 상황에서 세밀한 엔티티 수준의 편집을 수행하지 못하는 기존의 텍스트 유도 이미지 편집 방법의 한계를 해결하기 위해.
• 자연어 기반 기술 설명에 기반해 객체 외관(질감, 색상)과 구조(형태, 레이아웃)를 정밀하게 편집할 수 있도록 하기 위해.
• 텍스트 기술 설명과 관련이 없는 이미지 영역을 유지하면서 편집된 엔티티가 자연스럽게 통합되도록 하기 위해.
• 이산 이미지 토큰 생성과 의미적 정렬을 결합한 두 단계 프레임워크를 개발하기 위해.
• 클립 기반 의미 손실을 사용하여 텍스트 프롬프트와 생성된 이미지 간의 시각-의미 정렬을 향상시키기 위해.

제안 방법

• 자동에코더와 순차적 모델링을 통해 이산 이미지 토큰의 공동 분포를 학습하는 트랜스포머 기반 이미지 합성기(Trans)이다.
• 의미적 정렬 모듈은 텍스트 기술 설명과 관련된 이미지 토큰을 식별하여 엔티티 수준의 국소화된 편집을 가능하게 한다.
• 대비적 언어-이미지 사전학습(CLIP) 모듈을 의미 손실로 재사용하여 텍스트 및 이미지 특징 간의 정렬을 향상시킨다.
• 두 단계 훈련 프로세스를 사용한다: 첫 번째 단계에서는 이미지 토큰이 양자화되고 인코딩되며, 두 번째 단계에서는 텍스트 조건에 따라 편집된 이미지 토큰이 생성된다.
• 의미 손실은 토큰 단위의 분류 손실을 보완하는 픽셀 수준의 감독 신호 역할을 하여 세부적인 훈련을 가능하게 한다.
• 편집된 이미지 토큰만 수정하고 나머지 이미지 영역은 그대로 유지함으로써 엔티티 수준의 편집을 달성한다.

실험 결과

연구 질문

• RQ1 시각-언어 모델이 실세계 이미지에서 자연어 기반 기술 설명에 따라 정밀한 엔티티 수준의 이미지 편집을 수행할 수 있는가?
• RQ2 모델은 텍스트 관련 영역와 텍스트 비관련 영역를 어떻게 구분하여 배경 콘텐츠를 유지할 수 있는가?
• RQ3 클립을 의미 손실로 통합함으로써 시각-의미 정렬과 생성 품질은 어느 정도 향상되는가?
• RQ4 모델은 외관 변화 외에도 객체의 구조적 변화(예: 형태나 레이아웃 변경)를 텍스트에 기반해 생성할 수 있는가?
• RQ5 토큰 단위의 의미 정렬은 단어-패치 정렬 대비 국소화 정확도에서 어떤가?

주요 결과

• CUB와 옥스포드 데이터셋에서 ManiTrans는 ManiGAN과 Lightweight-GAN을 모든 지표에서 능가하지만, 옥스포드에서 L2-오차를 제외한 모든 지표에서 승리한다. L2-오차는 경쟁적인 성능이다.
• COCO 데이터셋에서 ManiTrans는 R@10과 L2-오차 지표에서 뛰어난 성능을 보이며, CLIP 점수와 인셉션 점수에서도 기존 방법들과 경쟁 가능한 성능을 기록한다.
• 정성적 결과에서는 ManiTrans가 동시에 여러 엔티티를 편집하는 데 성공한다(예: 말과 들판의 색상 변경), 반면 기존 방법들은 전반적인 스타일 필터만 적용한다.
• 절단 실험 결과, 의미 손실이 다색 기술 설명을 포괄하는 데 필수적임을 확인할 수 있었으며, 이 손실이 없는 모델은 특정 색상(예: 새 배속의 보라색)을 생성하지 못하는 경향이 있었다.
• 의미 정렬 모듈은 단어-패치 정렬 대비 국소화 정확도를 크게 향상시키며, 배경 간섭을 줄이고 객체 부분의 정밀한 편집을 가능하게 한다.
• COCO에서의 실패 사례는 유사한 외관을 가진 엔티티들(예: 사자와 윌드베스트)이 혼동될 수 있음을 보여주며, 빛의 모호성 하에서 엔티티 세분화 및 정렬의 한계를 드러낸다.