[논문 리뷰] Improved Autoregressive Modeling with Distribution Smoothing

Chenlin Meng, Jiaming Song외 3명|arXiv (Cornell University)|2021. 03. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 4

한 줄 요약

이 논문은 두 단계의 자동회귀 모델링 방법을 제안하며, 먼저 노이즈를 사용해 데이터 분포를 스무딩하고, 스무딩된 분포에서 자동회귀 모델을 훈련한 후 기울기 기반 또는 조건부 모델링을 통해 샘플을 복원함으로써 샘플 품질을 향상시킨다. 이 방법은 합성 및 실제 이미지 데이터셋에서 샘플 품질을 크게 향상시키며, 동시에 경쟁 가능한 우도를 유지한다. 이는 적대적 방어에서 사용된 랜덤화 스무딩에 영감을 받았다.

ABSTRACT

While autoregressive models excel at image compression, their sample quality is often lacking. Although not realistic, generated images often have high likelihood according to the model, resembling the case of adversarial examples. Inspired by a successful adversarial defense method, we incorporate randomized smoothing into autoregressive generative modeling. We first model a smoothed version of the data distribution, and then reverse the smoothing process to recover the original data distribution. This procedure drastically improves the sample quality of existing autoregressive models on several synthetic and real-world image datasets while obtaining competitive likelihoods on synthetic datasets.

연구 동기 및 목표

• 실제 이미지 데이터셋에서 높은 우도를 기록함에도 불구하고 자동회귀 모델의 낮은 샘플 품질 문제를 해결하기 위해.
• 데이터 분포의 높은 리프시츠 상수와 다양체 구조로 인한 과제를 완화하기 위해.
• 데이터 분포를 스무딩함으로써 자동회귀 생성에서 누적 오류를 줄이기 위해.
• 이전에 적대적 방어에서 사용된 랜덤화 스무딩을 생성 모델링에 응용하기 위해.
• 기존의 우도 성능을 희생시키지 않고 고해상도 샘플 생성을 가능하게 하기 위해.

제안 방법

• 데이터 분포에 대칭적이고 정적인 노이즈(예: 가우시안)를 적용하여 날카운 밀도 전이를 줄이는 스무딩된 버전을 생성한다.
• 스무딩된 분포에서 자동회귀 모델을 훈련시켜 더 안정적이고 완전히 지원되는 밀도를 학습한다.
• 스무딩 과정을 반대로 거꾸로 적용하여 복원: 기울기 기반 복원 또는 조건부 자동회귀 모델을 사용해 노이즈가 섞인 입력에서 원래 데이터를 복구한다.
• 노이즈에 강건한 스무딩된 분포에서 시작하여 고품질 샘플을 생성하기 위해 복원 단계를 활용한다.
• 기존의 노이즈 복원 방법보다 더 넓은 적용 범위를 위해 가우시안을 초월한 다양한 노이즈 분포를 허용한다.
• 기존 자동회귀 모델의 아키텍처를 수정하지 않고 두 단계 과정을 통합한다.

실험 결과

연구 질문

• RQ1 데이터 분포의 랜덤화 스무딩이 자동회귀 모델의 샘플 품질을 향상시키면서도 우도를 떨어뜨리지 않을 수 있는가?
• RQ2 데이터 분포를 스무딩함으로써 실제 데이터의 높은 리프시츠 상수와 다양체 구조의 영향을 어떻게 줄일 수 있는가?
• RQ3 스무딩된 분포에서 학습하고 복원하는 두 단계 접근 방식이 기존 자동회귀 모델링 대비 샘플의 사실성에서 뛰어나게 작용할 수 있는가?
• RQ4 이 방법은 이미지 복원 및 노이즈 제거와 같은 다른 작업으로 일반화될 수 있는가?
• RQ5 노이즈 스케일의 선택이 샘플 품질과 우도 사이의 트레이드오���에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 합성 및 실제 이미지 데이터셋(예: CIFAR-10, CelebA) 모두에서 샘플 품질을 극적으로 향상시키며, 합성 데이터에서 경쟁 가능한 우도를 유지한다.
• 2차원 합성 데이터셋에서, 이 방법은 RealNVP보다 샘플 품질에서 뛰어나며, 인간 평가자들이 스무딩된 모델에서 생성된 샘플을 선호한다.
• CIFAR-10에서 프리에치 인ception 거리(Fréchet Inception Distance, FID)는 10.2를 기록하여 기존 자동회귀 모델보다 뚜렷이 향상되었다.
• 원래 모델의 샘플 품질이 열악하더라도 이 방법은 고해상도 이미지 생성을 가능하게 하여 누적 오류에 대한 강건성을 보여준다.
• 이 방법은 이미지 복원 및 노이즈 제거로 일반화되며, 복원 헤드가 후속 작업에 재사용될 수 있음을 보여준다.
• 제거 분석 결과, 모델이 아닌 데이터 분포를 스무딩함으로써 샘플 품질 향상의 가장 큰 기여를 이룬다.