[논문 리뷰] A Neural Space-Time Representation for Text-to-Image Personalization

Yuval Alaluf, Elad Richardson외 2명|arXiv (Cornell University)|2023. 05. 24.

Computer Graphics and Visualization Techniques인용 수 6

한 줄 요약

이 논문은 텍스트-to-이미지 개인화를 위한 신경 공간-시간 표현인 NeTI를 제안한다. NeTI는 작은 신경 맵퍼를 사용하여 노이즈 제거 단계와 U-Net 레이어 전반에 걸쳐 개념 임베딩을 암묵적으로 모델링한다. 시간과 공간에 조건을 주고, 텍스트 별도 경로를 도입함으로써, 생성 모델의 파라미터를 미세조정하지 않고도 고해상도이며 편집 가능한 생성을 달성한다. 이는 이전 방법들보다 시각적 품질과 편집 가능성 제어 면에서 뛰어나다.

ABSTRACT

A key aspect of text-to-image personalization methods is the manner in which the target concept is represented within the generative process. This choice greatly affects the visual fidelity, downstream editability, and disk space needed to store the learned concept. In this paper, we explore a new text-conditioning space that is dependent on both the denoising process timestep (time) and the denoising U-Net layers (space) and showcase its compelling properties. A single concept in the space-time representation is composed of hundreds of vectors, one for each combination of time and space, making this space challenging to optimize directly. Instead, we propose to implicitly represent a concept in this space by optimizing a small neural mapper that receives the current time and space parameters and outputs the matching token embedding. In doing so, the entire personalized concept is represented by the parameters of the learned mapper, resulting in a compact, yet expressive, representation. Similarly to other personalization methods, the output of our neural mapper resides in the input space of the text encoder. We observe that one can significantly improve the convergence and visual fidelity of the concept by introducing a textual bypass, where our neural mapper additionally outputs a residual that is added to the output of the text encoder. Finally, we show how one can impose an importance-based ordering over our implicit representation, providing users control over the reconstruction and editability of the learned concept using a single trained model. We demonstrate the effectiveness of our approach over a range of concepts and prompts, showing our method's ability to generate high-quality and controllable compositions without fine-tuning any parameters of the generative model itself.

연구 동기 및 목표

• 기존의 텍스트-to-이미지 개인화 방법들이 $\mathcal{P}$ 또는 $\mathcal{P}^+$와 같은 정적이고 저차원 공간에 개념을 표현하는 데서 비롯되는 시각적 해상도와 편집 가능성의 제한을 해결하기 위해.
• 확산 모델의 노이즈 제거 과정의 동적 성격을 반영하는 더 풍부한 시간-및 레이어 의존 조건부 공간 $\mathcal{P}^*$를 탐색하기 위해.
• 수백 개의 벡터를 직접 최적화하지 않고도 $\mathcal{P}^*$ 공간에 개념을 압축적으로 인코딩하는 암묵적 신경 표현(이를 NeTI라 칭함)을 개발하기 위해.
• 텍스트 인코더 출력에 잔차 벡터를 추가함으로써 표현 능력을 향상시키고, 이를 통해 수렴 속도와 시각적 해상도를 향상시키기 위해.
• 중요도 기반 순서 정렬과 드롭아웃 스케줄링을 통해 추론 시점에서 재구성-편집 가능성 간 상호보완적 조절을 가능하게 하기 위해.

제안 방법

• 노이즈 제거 단계 $t$ 와 U-Net 레이어 $\ell$ 의 모든 조합에 대해 정의된, 각 개념 임베딩이 존재하는 공간-시간 조건부 공간 $\mathcal{P}^*$ 를 도입한다.
• 입력으로 $t$ 와 $\ell$ 를 받고, $\mathcal{P}$ 에 해당하는 임베딩을 출력하는 신경 맵퍼 네트워크인 NeTI 를 제안한다. 이는 전체 $\mathcal{P}^*$ 공간을 암묵적으로 표현한다.
• 맵퍼가 출력하는 잔차 벡터를 텍스트 인코더 출력에 더함으로써, 인코더의 구조를 변경하지 않고도 표현 능력을 향상시키는 텍스트 별도 경로 메커니즘을 구현한다.
• 맵퍼의 히든 표현에 기반한 드롭아웃 기반 중요도 순서 정렬을 사용하여, 추론 시점에서 재구성 품질과 편집 가능성 간의 균형 조절을 동적으로 가능하게 한다.
• 기존의 Textual Inversion와 유사한 표준 최적화를 통해 맵퍼를 훈련하며, 더 풍부한 $\mathcal{P}^*$ 공간에서 고해상도 개념 삽입을 가능하게 한다.
• 시간과 공간 조건부의 조합이 필수적인지 확인하기 위해 추론 분석을 수행하고, 노이즈 제거 단계에 따른 개념 학습 진행 상황을 분석한다.

실험 결과

연구 질문

• RQ1 노이즈 제거 단계와 U-Net 레이어에 모두 의존하는 공간-시간 표현($\mathcal{P}^*$)이 텍스트-to-이미지 개인화에서 시각적 해상도와 편집 가능성 향상에 기여하는가?
• RQ2 작은 신경 맵퍼를 통해 고차원의 $\mathcal{P}^*$ 공간을 암묵적으로 표현하는 것이 가능하며, 이로써 수백 개의 벡터를 직접 최적화하지 않아도 되는가?
• RQ3 텍스트 인코더 출력에 잔차를 추가하는 텍스트 별도 경로를 도입함으로써 수렴 속도와 시각적 품질이著명하게 향상되는가?
• RQ4 맵퍼의 히든 표현에 대한 중요도 기반 순서 정렬이 추론 시점에서 재구성-편집 가능성 간 상호보완적 조절을 가능하게 하는가?
• RQ5 NeTI 프레임워크 내에서 다양한 노이즈 제거 단계에서 개념 특성은 어떻게 발현되는가?

주요 결과

• NeTI 는 신뢰도와 프롬프트 준수도에 대해 5점 척도에서 평균 사용자 평점 3.97을 기록하여, Textual Inversion(2.77), XTI(3.15), DreamBooth(3.71) 를 크게 앞서며 뛰어난 성능을 보였다.
• 시간과 공간 조건부의 조합이 필수적임을 입증: 아블레이션 연구 결과, 하나 또는 둘 다에 의존하지 않은 모델은 시각적 해상도가 유의미하게 떨어졌다.
• 텍스트 별도 경로 메커니즘이 수렴 속도와 시각적 품질을 향상시켜, NeTI 가 생성 모델의 미세조정 없이도 DreamBooth 와 경쟁 가능한 해상도를 달성할 수 있도록 했다.
• 단계별 분석 결과, 초기 노이즈 제거 단계($t=999$) 는 구조와 색상과 같은 거시적 특징을 포착하는 반면, 후기 단계($t=50$) 는 질감과 조각 무늬와 같은 미세한 디테일을 추가한다.
• 추론 시점에서 중요도 기반 드롭아웃 스케줄링을 통해 재구성 품질과 편집 가능성 간의 상호보완적 조절이 가능하며, 강한 드롭아웃은 더 추상적이고 편집에 유리한 표현을 생성한다.
• NeTI 는 다양한 프롬프트, 예를 들어 '스타일 $S_*$ 의 중세 성채를 그린 그림'이나 '스타일 $S_*$ 의 포켓몬' 과 같은 복잡한 스타일까지도 고해상도이며 제어 가능한 개인화된 개념 조합을 가능하게 한다.