[논문 리뷰] Concept Algebra for (Score-Based) Text-Controlled Generative Models

Zihao Wang, Lin Gui외 2명|arXiv (Cornell University)|2023. 02. 07.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 텍스트-이미지 확산 모델의 점수 기반 표현 공간 내에서 고수준 개념(예: 성별, 예술 스타일)을 부분공간으로 식별하는 수학적 프레임워크인 개념 대수(concept algebra)를 소개한다. 텍스트 조건부 분포의 스틸 점수를 산술적으로 조합 가능한 표현으로 활용함으로써, 투영과 벡터 산술을 통한 정밀한 개념 조작이 가능해지며, 이는 스테이블 디퓨전에서 히우리스틱 방법보다 더 높은 분리도를 보여줌으로써 효과적으로 입증되었다.

ABSTRACT

This paper concerns the structure of learned representations in text-guided generative models, focusing on score-based models. A key property of such models is that they can compose disparate concepts in a `disentangled' manner. This suggests these models have internal representations that encode concepts in a `disentangled' manner. Here, we focus on the idea that concepts are encoded as subspaces of some representation space. We formalize what this means, show there's a natural choice for the representation, and develop a simple method for identifying the part of the representation corresponding to a given concept. In particular, this allows us to manipulate the concepts expressed by the model through algebraic manipulation of the representation. We demonstrate the idea with examples using Stable Diffusion. Code in https://github.com/zihao12/concept-algebra-code

연구 동기 및 목표

• 텍스트 제어 생성 모델의 표현 공간 내에서 성별이나 예술 스타일과 같은 고수준 개념이 부분공간으로 어떻게 인코딩되는지 수학적으로 형식화하는 것.
• 텍스트 조건부 분포의 스틸 점수를 산술적으로 조합 가능한 표현으로 설정하여 개념의 대수적 조작을 지원하는 것.
• 점수 기반 확산 모델의 잠재 공간 내에서 개념 전용 부분공간을 식별하고 편집하는 체계적인 방법을 개발하는 것.
• 개념 대수가 히우리스틱 점수 편집 방법(예: 음성 프롬프트)보다 더 효과적이고 고립된 방식으로 개념을 조작할 수 있음을 입증하는 것.
• 텍스트-이미지 생성에서 개념 분리도를 이해하고 제어하기 위한 통합 수학적 프레임워크를 제공하는 것.

제안 방법

• 의미 있는 속성을 캡처하는 잠재 변수 C를 통해 데이터 생성 과정을 모델링함으로써 표현 공간 내 개념을 부분공간으로 형식화한다.
• 스텍 점수 기반 표현을 텍스트 조건부 분포의 스틸 점수로 정의하며, 이는 산술적으로 조합 가능하고 개념 대수에 적합함을 입증한다.
• 편집된 표현 벡터를 특정 방향에 따라 투영함으로써 특정 개념 부분공간을 고립하고 조작하기 위해 투영 연산자(예: projₜ)를 사용한다.
• 예: '여성 간호사'와 '남성 간호사'와 같은 기준 프롬프트를 사용하여 '성별'과 같은 개념에 해당하는 방향을 추정함으로써 개념 부분공간을 구성한다.
• I - projₜ + projₜ·(α·s₁ + (1−α)·s₂)와 같은 대수 연산을 적용하여 프롬프트 간에 개념을 보존하면서도 보존하는 방식으로 보간하거나 전이한다.
• 스테이블 디퓨전에서 질적 및 비교적 평가를 통해 특정 개념을 독립적으로 편집할 수 있도록 이미지를 생성함으로써 방법을 검증한다.

실험 결과

연구 질문

• RQ1 성별이나 예술 스타일과 같은 고수준 개념이 점수 기반 텍스트-이미지 모델의 표현 공간 내에서 부분공간으로 공식화될 수 있는가?
• RQ2 텍스트 조건부 분포의 스틸 점수가 산술적으로 조합 가능한 표현으로서 개념의 대수적 조작을 가능하게 하는가?
• RQ3 모델 파라미터 미세조정 없이 소수의 기준 프롬프트만으로도 개념 부분공간을 신뢰성 있게 식별하고 편집할 수 있는가?
• RQ4 히우리스틱 점수 편집 방법(예: 음성 프롬프트)과 비교할 때 개념 대수의 분리도와 제어 정밀도는 어떠한가?
• RQ5 '주제'나 '장면'과 같은 추상적 개념은 이 프레임워크를 통해 제로샷 설정에서 얼마나 효과적으로 조작할 수 있는가?

주요 결과

• 텍스트 조건부 분포의 스틸 점수는 산술적으로 조합 가능한 표현으로서, 개념을 조작하기 위한 선형 대수 연산을 가능하게 한다.
• 성별이나 예술 스타일과 같은 개념은 표현 공간 내 식별 가능한 부분공간으로 인코딩되며, 투영 연산을 통한 정밀한 편집이 가능하다.
• 이 방법은 이미지 생성에서 '주제'와 같은 추상적 개념을 성공적으로 조작한다. 예를 들어 배경 맥락을 유지하면서 '장난감'을 'sks 장난감'으로 교체한 편집 결과에서 이를 입증한다.
• 음성 프롬프트와 같은 히우리스틱 방법보다 개념 대수가 특정 개념을 더 효과적이고 고립적으로 수정함으로써 부작용 없이 조작할 수 있다.
• 해당 프롬프트가 개념을 직접 묘사하지 않더라도, 분포 이동에 대해 강건함을 보이며 조건부 개념 분리도를 효과적으로 구현한다.
• 이 방법은 스테이블 디퓨전에서 검증되었으며, 부분공간 편집을 통한 일관되고 해석 가능한 이미지 편집 결과를 보이며, 다양한 개념 유형에 걸쳐 결과를 시각화하였다.