[논문 리뷰] PureCC: Pure Learning for Text-to-Image Concept Customization

Zhiwu Liao, Xiaole Xian외 8명|arXiv (Cornell University)|2026. 03. 08.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

PureCC는 원래 모델의 동작과 능력을 유지하면서 텍스트-이미지 생성에서 개인화된 개념을 학습하기 위한 분리된 학습 목표와 이중 분기 파이프라인을 도입합니다. 적응형 가이던스로 다이아몬드하게 개념 맞춤화를 달성하기 위해 고정 표현 추출기를 사용합니다.

ABSTRACT

Existing concept customization methods have achieved remarkable outcomes in high-fidelity and multi-concept customization. However, they often neglect the influence on the original model's behavior and capabilities when learning new personalized concepts. To address this issue, we propose PureCC. PureCC introduces a novel decoupled learning objective for concept customization, which combines the implicit guidance of the target concept with the original conditional prediction. This separated form enables PureCC to substantially focus on the original model during training. Moreover, based on this objective, PureCC designs a dual-branch training pipeline that includes a frozen extractor providing purified target concept representations as implicit guidance and a trainable flow model producing the original conditional prediction, jointly achieving pure learning for personalized concepts. Furthermore, PureCC introduces a novel adaptive guidance scale $λ^\star$ to dynamically adjust the guidance strength of the target concept, balancing customization fidelity and model preservation. Extensive experiments show that PureCC achieves state-of-the-art performance in preserving the original behavior and capabilities while enabling high-fidelity concept customization. The code is available at https://github.com/lzc-sg/PureCC.

연구 동기 및 목표

• 원래 모델의 동작과 능력을 저하시키지 않으면서 개념 맞춤화를 동기화합니다.
• 미세 조정 during에서 대상 개념 가이던스를 원래 모델 예측과 분리합니다.
• 고정 추출기와 학습 가능한 예측기를 갖춘 이중 분기 학습 파이프라인을 개발합니다.
• 대상 개념을 더 잘 표현하기 위한 계층별로 조정 가능한 임베딩을 도입합니다.
• 충실도와 보존 사이의 균형을 맞추기 위한 적응형 가이던스 스케일을 제안합니다.

제안 방법

• 사전 학습된 흐름 모델에 기반한 표현 추출기를 도입하고 커스텀 세트에서 LoRA로 미세 조정합니다.
• 프롬프트 임베딩의 각 계층에서 [V]를 대체하기 위해 계층별로 조정 가능한 개념 임베딩을 도입합니다.
• v_t^PureCC = v_t^original + lambda * v_t^target인 분리된 학습 목표를 형식화합니다.
• v_t^target를 고정 추출기의 표현 편향(대상 텍스트와 널 조건 간의 차이)으로 정의합니다.
• 두 분기 파이프라인을 학습합니다: 암묵적 가이던스를 제공하는 고정 표현 추출기와 원래 조건부 출력을 예측하는 학습 가능한 흐름 모델.
• 훈련 가능한 표현을 대상 가이던스 표현으로 투영하여 충실도와 보존 간의 균형을 맞추는 적응적 가이던스 스케일 lambda*를 계산합니다.

실험 결과

연구 질문

• RQ1 개념 맞춤화가 원래 모델의 동작에 최소한으로만 영향을 주면서 어떻게 학습될 수 있을까?
• RQ2 분리된 목표와 이중 분기 아키텍처가 대상 개념의 순수한 학습을 가능하게 할 수 있을까?
• RQ3 개인화와 보존의 균형을 맞추기 위해 학습 중 가이던스 강도를 어떻게 조절해야 할까?
• RQ4 계층별 개념 임베딩이 대상 개념 표현과 이후 미세 조정에 얼마나 기여하는가?
• RQ5 PureCC가 개별 및 스타일 개념 맞춤화에 미치는 충실도와 모델 보존 측면의 영향은 무엇인가?

주요 결과

• PureCC는 원래 모델의 동작 보존을 최적의 수준으로 달성하면서 고충실도 개념 맞춤화를 가능하게 합니다.
• 고정 추출기와 학습 가능한 예측기로 구성된 이중 분기 설정은 원래의 능력을 보존하고 효과적인 암묵적 가이던스를 제공합니다.
• 적응적 가이던스 스케일 lambda*가 개념의 충실도와 모델 보존 간의 균형을 이루며 고정 스케일 방식보다 우수합니다.
• 계층별로 조정 가능한 임베딩을 갖춘 표현 추출기는 대상 개념 표현을 풍부하게 만듭니다.
• PureCC는 스타일-인스턴스 혼합을 포함한 단일 및 다중 개념 맞춤화에서 강력한 성능을 보여줍니다.