[논문 리뷰] Mirror Diffusion Models for Constrained and Watermarked Generation

Guan-Horng Liu, Tianrong Chen외 2명|arXiv (Cornell University)|2023. 10. 02.

Markov Chains and Monte Carlo MethodsMathematics인용 수 3

한 줄 요약

이 논문은 단체와 ℓ₂-구역과 같은 볼록 제약 집합 위에서 데이터를 생성하기 위해 거울 사상(dual space)을 통해 제약이 없는 이중 공간으로 확산 과정을 올리기 위한 새로운 유형의 확산 모델인 미러 확산 모델(Mirror Diffusion Models, MDM)을 소개한다. 이 방법은 시뮬레이션을 필요로 하지 않고 정확한 전이 커널을 갖춘 간편한 학습을 가능하게 하며, 이전의 반사 확산 접근법보다 뛰어난 성능을 보이며, 제약 기반 임bedding을 통한 보이지 않는 정량적 워터마킹도 가능하게 한다.

ABSTRACT

Modern successes of diffusion models in learning complex, high-dimensional data distributions are attributed, in part, to their capability to construct diffusion processes with analytic transition kernels and score functions. The tractability results in a simulation-free framework with stable regression losses, from which reversed, generative processes can be learned at scale. However, when data is confined to a constrained set as opposed to a standard Euclidean space, these desirable characteristics appear to be lost based on prior attempts. In this work, we propose Mirror Diffusion Models (MDM), a new class of diffusion models that generate data on convex constrained sets without losing any tractability. This is achieved by learning diffusion processes in a dual space constructed from a mirror map, which, crucially, is a standard Euclidean space. We derive efficient computation of mirror maps for popular constrained sets, such as simplices and $\ell_2$-balls, showing significantly improved performance of MDM over existing methods. For safety and privacy purposes, we also explore constrained sets as a new mechanism to embed invisible but quantitative information (i.e., watermarks) in generated data, for which MDM serves as a compelling approach. Our work brings new algorithmic opportunities for learning tractable diffusion on complex domains. Our code is available at https://github.com/ghliu/mdm

연구 동기 및 목표

• 단체와 ℓ₂-구역과 같은 볼록 집합에 제약을 받는 데이터를 위한 간편하고 시뮬레이션을 필요로 하지 않는 확산 모델의 부족을 해결하기 위해.
• 반사 확산의 한계를 극복하기 위해, 이는 닫힌 형태의 전이 커널이 없고, 근사적인 스코어 함수가 필요로 하기 때문이다.
• 복잡한 기하학적 제약 조건 내에서 훈련 확장성에 영향을 주지 않으면서도 강력하고 고해상도의 생성을 가능하게 하기 위해.
• 저작권 보호를 위해 생성된 데이터에 보이지 않는 정량적 워터마킹을 삽입하기 위한 수 Mittel의 메커니즘으로서 제약 집합을 활용할 수 있는지 탐색하기 위해.
• 거울 사상이 제약된 생성을 간편한 유클리드 공간 학습 문제로 변환하는 데 가능성을 보여주기 위해.

제안 방법

• 스트릭트하게 볼록 함수 ∇ϕ의 기울기인 거울 사상 ∇ϕ를 통해 제약 집합 𝒪 ⊆ ℝᵈ에 있는 데이터 분포를 제약이 없는 이중 공간으로 올리기.
• 전이 커널과 스코어 함수가 해석적으로 간편한, 이중 공간 ℝᵈ에서의 확산 모델링을 수행하여 시뮬레이션을 필요로 하지 않는 학습을 가능하게 하기.
• 생성된 샘플을 원래의 제약 집합으로 다시 매핑하기 위해 역 거울 사상 ∇ϕ⁻¹을 사용하여 제약 조건이 구성에 의해 만족됨을 보장하기.
• 기존의 볼록 쌍대성 이론을 활용하여 단체와 ℓ₂-구역과 같은 일반적인 제약 집합에 대해 효율적인 거울 사상 계산을 유도하기.
• 워터마킹에 프레임워크를 적용하기 위해 이중 공간에서 워터마킹을 제약 조건으로 인코딩하여 보이지 않지만 검증 가능한 콘텐츠 무결성을 보장하기.
• 두 가지 변형을 구현: MDM-dual(전체 이중 공간에서 학습)과 MDM-proj(학습 데이터를 제약 집합으로 투영), 이미지 생성 벤치마크에서 성능 비교

실험 결과

연구 질문

• RQ1 단체나 ℓ₂-구역과 같은 볼록 제약 집합 위에서 데이터를 생성할 때, 확산 모델을 간편하고 시뮬레이션을 필요로 하지 않게 만들 수 있는가?
• RQ2 이중 공간에서의 거울 사상이 기하학적 제약 조건을 강제하면서도 생성 품질을 유지하는가?
• RQ3 제약 집합을 사용하여 생성된 데이터에 보이지 않는 정량적 워터마킹을 삽입할 수 있는가?
• RQ4 제약된 확산 모델에서 워터마킹의 강건성과 생성 품질 사이의 상호 교환 관계는 어떠한가?
• RQ5 무조건적 및 조건부 이미지 생성 작업에서 MDM의 두 변형(MDM-dual 및 MDM-proj)의 성능은 어떻게 비교되는가?

주요 결과

• MDM는 이전의 반사 확산 방법보다 우수한 샘플 품질을 보이며, 무조건적 이미지 생성 작업(예: CelebA-HQ, AFHQv2)에서 FID 점수를 크게 향상시켰다.
• MDM-dual은 더 매끄러운 이중 공간 분포를 학습하지만, MDM-proj보다 항상 낮은 FID 점수를 기록하여, 투영으로 인한 분포 이탈이 성능에 악영향을 준다는 것을 시사한다.
• 조건부 ImageNet 256×256 복원 작업에서 워터마킹 정밀도는 95% 이상이며, 가짜 양성률은 0.001% 이하로 유지되어 효과적이고 강건한 워터마킹 삽입이 가능함을 확인했다.
• MDM-dual과 MDM-proj는 모두 다각형 제약 조건을 만족하는 이미지를 생성하지만, 비-MDM 기반 모델은 외관상 구분이 어려운데도 제약 조건을 위반한다.
• 절단 분석 결과, 제약 수(m)를 줄이고 제약 범위(cᵢ, bᵢ)를 완화하면 FID와 워터마킹 정밀도가 모두 향상되어 보호와 품질 사이의 상호 교환 관계를 드러냈다.
• 기존의 반사 확산 방법이 기하학적 근사나 시뮬레이션을 필요로 하는 것과 달리, 이 방법은 정확한 회귀 목표를 갖춘 시뮬레이션을 필요로 하지 않는 학습을 가능하게 한다.