[논문 리뷰] Splicing ViT Features for Semantic Appearance Transfer

Narek Tumanyan, Omer Bar-Tal외 2명|arXiv (Cornell University)|2022. 01. 02.

Face recognition and analysis인용 수 7

한 줄 요약

이 논문은 단일 이미지 쌍을 사용하여 구조는 소스 이미지에서, 시각적 외형은 타겟 이미지에서 스플리팅하는 방식으로 고해상도 이미지를 생성하는 새로운 방법인 Splice를 제안한다. 이는 사전 훈련된 DINO-ViT 모델을 외부 의미론적 사전 지식으로 활용하여, [CLS] 토큰을 통해 외형을 추출하고, 깊은 특징에서의 자기주의 키 유사도를 통해 구조를 추출함으로써 정확하고, 적대적 훈련 없이, 세분화 없이 강한 레이아웃 보존을 가능하게 한다.

ABSTRACT

We present a method for semantically transferring the visual appearance of one natural image to another. Specifically, our goal is to generate an image in which objects in a source structure image are "painted" with the visual appearance of their semantically related objects in a target appearance image. Our method works by training a generator given only a single structure/appearance image pair as input. To integrate semantic information into our framework - a pivotal component in tackling this task - our key idea is to leverage a pre-trained and fixed Vision Transformer (ViT) model which serves as an external semantic prior. Specifically, we derive novel representations of structure and appearance extracted from deep ViT features, untwisting them from the learned self-attention modules. We then establish an objective function that splices the desired structure and appearance representations, interweaving them together in the space of ViT features. Our framework, which we term "Splice", does not involve adversarial training, nor does it require any additional input information such as semantic segmentation or correspondences, and can generate high-resolution results, e.g., work in HD. We demonstrate high quality results on a variety of in-the-wild image pairs, under significant variations in the number of objects, their pose and appearance.

연구 동기 및 목표

• 사용자 지시, 세분화, 대응 관계 없이 두 개의 자연 이미지 간의 의미론적 외형 전달을 가능하게 하기 위해.
• 자신의 자세, 형태, 외형이 크게 다를 수 있는 객체 간의 시각적 외형 전달에 도전하기 위해.
• 소스 이미지의 구조적 레이아웃을 유지하면서도 의미적으로 유의미한 방식으로 타겟의 시각적 외형을 전달하는 방법을 개발하기 위해.
• 사전 훈련된 비전 트랜스포머(DINO-ViT)를 생성적 이미지 합성에 대한 외부 의미론적 사전 지식으로 사용하는 것의 효과를 입증하기 위해.
• 대규모 쌍화된 데이터셋이 필요 없이 단일 이미지 쌍만으로도 고해상도(HD) 생성을 가능하게 하기 위해.

제안 방법

• 사전 훈련된 고정된 DINO-ViT 모델을 사용하여 깊은 특징을 외부 의미론적 사전 지식으로 추출한다.
• 외형은 최종 ViT 레이어의 [CLS] 토큰을 통해 표현되며, 이는 전반적인 시각적 및 의미론적 내용을 캡처한다.
• 구조는 동일한 ViT 레이어의 키의 자기유사도를 통해 모델링되며, 공간적 관계와 객체 레이아웃을 인코딩한다.
• 생성자는 ViT 특징 공간에서 원하는 구조와 외형 표현을 스플리팅하는 다성분 손실 함수를 사용하여 훈련된다.
• 손실 함수에는 [CLS] 토큰을 일치시키는 외형 손실, 키의 자기유사도를 일치시키는 구조 손실, 세부 정보를 유지하기 위한 아이덴티티 손실이 포함된다.
• 이 프레임워크는 적대적 훈련을 피하고, 세분화 지도, 대응 관계, 또는 단일 이미지 쌍 이외의 추가 데이터가 필요하지 않다.

Figure 2: Pipeline. Our generator $G_{\theta}$ takes an input structure image $I_{s}$ and outputs $I_{o}$ . We establish our training losses using a pre-trained and fixed DINO-ViT model, which serves as an external semantic prior: we represent structure via the self-similarity of keys in the deepest

실험 결과

연구 질문

• RQ1 사전 훈련된 비전 트랜스포머가 추가 지도 없이 의미론적 외형 전달에 효과적인 외부 의미론적 사전 지식로 기능할 수 있는가?
• RQ2 비전 트랜스포머의 특징 공간에서 구조와 외형을 어떻게 분리하고 재결합하여 고정밀도 이미지 생성을 달성할 수 있는가?
• RQ3 단일 이미지 쌍만으로도 적대적 훈련 없이 고해상도(HD) 이미지 생성을 달성할 수 있는가?
• RQ4 ViT 특징가 다양한 객체 카테고리와 자세 간의 전환에서 의미론적 레이아웃을 어느 정도 유지할 수 있는가?
• RQ5 비현실적이거나 도메인 외부의 이미지와 같은 분포 이탈 상황에서 이 방법의 성능은 어떻게 되는가?

주요 결과

• Splice는 GAN 기반, 스타일 전이, 의미론적 인식 방법보다 인간 평가에서 뛰어난 성능을 보이며, Wild-Pairs에서 83.1%의 유리도를 기록했고, 의미론적 레이아웃 보존에서 95%의 IoU를 달성했다.
• 산맥 데이터셋에서 평균 IoU가 0.95±0.10을 기록하여 SA 및 STROTSS를 능가했으며, WCT 2의 높은 레이아웃 정밀도에 근접했다.
• 절단 실험 결과, 외형 손실을 제거할 경우 외형 전달에 실패하고, 구조 손실을 제거할 경우 심각한 구조 왜곡이 발생함을 확인했다.
• 아이덴티티 손실은 명시적 지도 없이도 아보카도와 배의 텍스처와 같은 세밀한 디테일 보존에 기여한다.
• DINO-ViT의 표현이 의미적 연관성을 포착하지 못할 경우, 고양이의 고리나 새를 비행기로 옮기는 것과 같이 실패한다.
• 특징 역전환 분석을 통해 [CLS] 토큰이 풍부한 외형 및 객체 부분 정보를 캡처하며, ViT 특징이 의미론적 해상도로 고해상도 이미지 재구성에 기여함을 확인했다.

Figure 3: Inverting the [CLS] token across layers. Each input image (a) is fed to DINO-ViT to compute its global [CLS] token at different layers. (b) Inversion results: starting from a noise image, we optimize for an image that would match the original [CLS] token at a specific layer. While earlier