[논문 리뷰] Idempotent Generative Network

Assaf Shocher, Amil Dravid외 4명|arXiv (Cornell University)|2023. 11. 02.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 아이디포텐트 생성 네트워크(IGN)를 소개한다. 이는 아이디포텐트 성질을 갖는 새로운 생성 모델로, 한 번 적용된 이후로도 반복 적용해도 변화가 없는 특성을 지닌다. $f(f(z)) = f(z)$를 최적화함으로써, 잡음, 손상된 이미지 등 다양한 분포에서 온 입력을 실사 이미지와 같은 목표 데이터 만곡면으로 한 번의 단계로 투영한다. 이를 통해 일관된 잠복 공간 조작과 단일 모델을 통한 제로샷 이미지 간 번역을 가능하게 한다.

ABSTRACT

We propose a new approach for generative modeling based on training a neural network to be idempotent. An idempotent operator is one that can be applied sequentially without changing the result beyond the initial application, namely $f(f(z))=f(z)$. The proposed model $f$ is trained to map a source distribution (e.g, Gaussian noise) to a target distribution (e.g. realistic images) using the following objectives: (1) Instances from the target distribution should map to themselves, namely $f(x)=x$. We define the target manifold as the set of all instances that $f$ maps to themselves. (2) Instances that form the source distribution should map onto the defined target manifold. This is achieved by optimizing the idempotence term, $f(f(z))=f(z)$ which encourages the range of $f(z)$ to be on the target manifold. Under ideal assumptions such a process provably converges to the target distribution. This strategy results in a model capable of generating an output in one step, maintaining a consistent latent space, while also allowing sequential applications for refinement. Additionally, we find that by processing inputs from both target and source distributions, the model adeptly projects corrupted or modified data back to the target manifold. This work is a first step towards a ``global projector'' that enables projecting any input into a target data distribution.

연구 동기 및 목표

• 잡음, 스케치, 또는 손상된 이미지와 같은 다양한 입력을 한 번의 단계로 목표 데이터 만곡면(예: 실사 이미지)으로 투영할 수 있는 통합 생성 모델을 개발하는 것.
• 기존 모델이 특정 입력 유형(예: GAN의 잠복 잡음 또는 디퓨전 모델의 노이즈 이미지)에 의존하는 한계를 해결하기 위해, 단일 모델이 임의의 입력을 처리할 수 있도록 하는 것.
• 일관된 잠복 공간 성질을 확보하고, 일괄 생성과 순차적 개선을 모두 지원함으로써 GAN과 디퓨전 모델의 장점을 융합하는 것.
• 모델가 데이터 만곡면으로의 전역 투영자 역할을 하는 아이디포텐스에 기반한 생성 모델링의 새로운 패러다임을 탐색하는 것.
• 역행성 또는 조건부 조건화 없이도, 아이디포텐트 투영을 통해 임의의 입력을 목표 분포로 매핑하도록 훈련시킴으로써 제로샷 이미지 간 번역을 가능하게 하는 것.

제안 방법

• 반복 적용해도 첫 번째 적용 이후 결과가 변하지 않도록 하는 아이디포텐트 성질을 갖도록 신경망 $f$를 훈련함. 즉, $f(f(z)) = f(z)$를 만족하도록 한다.
• 모델의 변환에 대해 불변인 실사 데이터 샘플이 되는 조건을 확보하기 위해, 목표 만곡면을 $f(x) = x$를 만족하는 모든 입력 $x$의 집합으로 정의한다.
• 입력 분포 $z \sim \mathcal{P}_z$에서 온 샘플을 목표 만곡면으로 투영하기 위해 아이디포텐스 손실 $\mathcal{L}_{\text{idem}} = \|f(f(z)) - f(z)\|^2$을 사용하여 $f$를 최적화한다.
• 비어 있는 해를 방지하기 위해, 목표 입력이 아닌 경우 $f(f(z)) \neq f(z)$임을 보장하는 타이트니스 손실 $\mathcal{L}_{\text{tight}}$를 도입함으로써 아이디포텐스 목적함수의 균형을 맞춘다.
• 자기적 적대적 훈련 기반에서 $f$가 생성자이자 판별자 역할을 하도록 하며, 판별자 $\delta$가 $D(f(y), y)$ 거리 측정값을 통해 $f$가 낮은 에너지, 안정적인 투영 방향으로 수렴하도록 이끈다.
• 고정밀도 이미지 생성 및 개선을 가능하게 하기 위해, $f$에 잔차 U-Net 아키텍처를 사용하고, 아이디포텐스, 재구성, 타이트니스 손실의 조합으로 훈련한다.

Figure 1: The basic idea behind IGN: real examples ( $x$ ) are invariant to the model $f$ : $f(x)=x$ . other inputs ( $z$ ) are projected onto the manifold of instances that $f$ maps to themselves by optimizing for $f(f(z))=f(z)$ .

실험 결과

연구 질문

• RQ1 아이디포텐스를 사용하여, 예를 들어 잡음이나 손상된 이미지와 같은 임의의 입력을 한 번의 단계로 목표 데이터 만곡면으로 투영할 수 있는 단일 생성 모델을 훈련시킬 수 있는가?
• RQ2 $f(f(z)) = f(z)$를 강제로 적용함으로써, 반복적 개선이나 조건부 조건화 없이도 안정적이고 일관되며 고품질의 생성을 달성할 수 있는가?
• RQ3 디퓨전 모델이 반복적인 노이즈 제거 경로를 기반으로 하는 반면, GAN처럼 한 번의 단계로 생성 가능한 모델이면서도 일관된 잠복 공간을 유지할 수 있는가?
• RQ4 역행성 또는 미세조정 없이도, 모델이 제로샷 이미지 간 번역 작업에 얼마나 일반화될 수 있는가?
• RQ5 모델가 생성자이자 판별자로 동시에 기능하는 자기적 적대적 훈련 기반에서, 모드 붕괴 없이 안정적인 최적화를 어떻게 달성할 수 있는가?

주요 결과

• 아이디포텐트를 통한 투영을 통해, 잡음이나 손상된 이미지와 같은 임의의 입력 분포에서 고해상도 이미지를 한 번의 단계로 생성함으로써 목표 데이터 만곡면으로 투영한다.
• 아이디포텐트 훈련 목적함수 $f(f(z)) = f(z)$는 샘플이 목표 만곡면으로 투영된 이후에 반복 적용해도 변화가 없음을 보장하여 안정적이고 일관된 추론을 가능하게 한다.
• 모델는 일관된 잠복 공간을 유지하여 간편한 보간 및 조작이 가능하며, 반복적인 노이즈 제거 경로를 기반으로 하는 디퓨전 모델과는 달리 이에 비해 유리하다.
• 자기적 적대적 훈련 기반에서 $f$가 생성자이자 판별자로 기능함으로써, 교차 훈련 단계 없이도 효과적인 최적화가 가능해져 훈련 과정이 단순화된다.
• 모델는 복잡한 역행성 또는 조건부 감독 없이도, 열악한 입력(예: 스케치, 저해상도 이미지 등)을 실사 이미지 만곡면으로 다시 투영하는 제로샷 이미지 간 번역을 성공적으로 수행한다.
• 오히려 오토에인코더에서 흔히 볼 수 있는 흐림 문제를 애초에 앓고 있음에도 불구하고, 모델의 반복 적용을 통해 아티팩트가 개선되고 인지적 품질이 향상됨을 확인하여 고해상도 생성에서 반복적 개선의 잠재력을 시사한다.

Figure 2: Two distinct pathways to enforce Idempotence: By updating $f$ so it maps $f(z)$ into the $\{f(y)=y\}$ area (updating through first instatiation, ${\color[rgb]{1,0,0}\Delta f}$ ) or by expanding the $\{f(y)=y\}$ area so that for a given $y=f(z)$ , we get $f(y)=y$ (updating through second in