[논문 리뷰] Identity Encoder for Personalized Diffusion

Yu-Chuan Su, Kelvin C. K. Chan외 6명|arXiv (Cornell University)|2023. 04. 14.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 소수의 기준 이미지에서 주제별 임베딩을 추출하여, 미세조정 없이도 빠르고 피드포워드 방식의 이미지 생성이 가능한 개인화된 확산 모델을 위한 아이덴티티 인코더를 제안한다. 이 방법은 뛰어난 아이덴티티 유지력과 생성 품질을 달성하며, 최상위 기준 모델 대비 사용자 선호도가 95% 이상을 기록한다. 심지어 한 장의 기준 이미지로도 성능을 유의미하게 유지한다.

ABSTRACT

Many applications can benefit from personalized image generation models, including image enhancement, video conferences, just to name a few. Existing works achieved personalization by fine-tuning one model for each person. While being successful, this approach incurs additional computation and storage overhead for each new identity. Furthermore, it usually expects tens or hundreds of examples per identity to achieve the best performance. To overcome these challenges, we propose an encoder-based approach for personalization. We learn an identity encoder which can extract an identity representation from a set of reference images of a subject, together with a diffusion generator that can generate new images of the subject conditioned on the identity representation. Once being trained, the model can be used to generate images of arbitrary identities given a few examples even if the model hasn't been trained on the identity. Our approach greatly reduces the overhead for personalized image generation and is more applicable in many potential applications. Empirical results show that our approach consistently outperforms existing fine-tuning based approach in both image generation and reconstruction, and the outputs is preferred by users more than 95% of the time compared with the best performing baseline.

연구 동기 및 목표

• 개인화된 이미지 생성에서 아이덴티티 전용 미세조정이 필요 없도록 하여 높은 계산 및 저장 비용을 제거하기 위해.
• 소수의 기준 이미지(심지어 한 장의 이미지라도)를 사용하여, 빠르고 피드포워드 방식의 개인화된 이미지 생성을 가능하게 하기 위해.
• 테스트 시 최적화 없이도 아이덴티티 유지력과 출력 다양성을 향상시키기 위해.
• 초상화 및 인painting과 같은 다양한 후행 작업에 적용 가능한 일반화 가능한 프레임워크를 개발하기 위해.
• 모든 새로운 아이덴티티에 대해 모델 재학습이 필요 없도록 사용자와 시스템의 부담을 줄이기 위해.

제안 방법

• 학습 가능한 아이덴티티 인코더를 통해 주제의 기준 이미지 집합에서 압축된 아이덴티티 표현을 추출하도록 훈련한다.
• 아이덴티티 유지력과 출력 다양성의 균형을 맞추기 위해 다중 작업 목적함수를 사용해 인코더와 확산 생성기 모두를 공동으로 훈련한다.
• 동일한 아이덴티티의 임베딩의 볼록결합이 동일한 주제를 나타내도록 하는 아이덴티티 유지 제약 조건을 도입한다.
• 동일한 아이덴티티의 임베딩을 임베딩 공간에서 국소화하기 위해 소프트-근접 이웃 아이덴티티 손실을 제안한다.
• 대규모 얼굴 데이터셋(예: FFHQ)을 통합하여 일반화 능력과 임베딩 품질을 향상시키기 위해 아이덴티티 무관 공동 훈련 기반을 도입한다.
• 모델은 최적화 없이도 추론이 가능하며, 인코딩된 아이덴티티 표현에 조건화된 다양한 개인화된 이미지를 생성할 수 있다.

Figure 1: Given reference images of a subject, our goal is to learn an identity encoder and a diffusion generator such that the identity encoder can extract an identity representation from the references, and the diffusion generator can generate diverse images of the subject conditioning on the repr

실험 결과

연구 질문

• RQ1 피드포워드 인코더 기반 접근법이 각 아이덴티티에 대해 미세조정 없이도 개인화된 이미지 생성을 달성할 수 있는가?
• RQ2 한 장 또는 소수의 기준 이미지만으로도 아이덴티티 인코더가 얼마나 잘 일반화되는가?
• RQ3 개인화된 확산 모델에서 아이덴티티 유지력과 출력 다양성의 균형을 이루기 위해 필요한 주요 훈련 구성 요소는 무엇인가?
• RQ4 제안된 방법이 생성 품질과 사용자 선호도 모두에서 미세조정 기반 기준 모델을 능가할 수 있는가?
• RQ5 초상화 및 인painting과 같은 후행 작업으로 모델을 얼마나 넓게 확장할 수 있으며, 아이덴티티 충실도가 향상되는가?

주요 결과

• 사용자 평가에서 제안된 방법은 최상위 기준 모델 대비 사용자 선호도가 95% 이상을 기록한다.
• FID 측정치와 사용자 연구를 통해 측정된 바에 따르면, 이미지 생성 및 재구성 품질 측면에서 미세조정 기반 접근법보다 항상 뛰어난 성능을 보인다.
• 기준 이미지가 한 장뿐이어도 모델은 높은 아이덴티티 충실도를 유지하지만, 미세조정 기반 기준 모델은 기준 수가 줄어들수록 성능이 크게 떨어진다.
• 절단 실험을 통해 아이덴티티 유지 제약 조건, 소프트-근접 이웃 손실, 다중 작업 학습이 최적 성능을 내기 위해 모두 필수적임을 확인한다.
• 초상화 및 인painting과 같은 후행 작업으로도 모델이 잘 일반화되며, 아이덴티티를 유지하면서도 높은 이미지 품질을 유지한다.
• 기준 모델의 미세조정 접근법 대비 추론 속도가 최대 29배 빠르며, 테스트 시 최적화가 필요 없어진다.

Figure 2: Instead of learning an one-to-one mapping between the embedding and image space (top panel), the identity encoder learns a set-to-set mapping. Different combinations of reference images all correspond to the identity representation of the same subject, and each identity embedding maps to a