[논문 리뷰] Sliced Iterative Generator.

Biwei Dai, Uroš Seljak|arXiv (Cornell University)|2020. 07. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 4

한 줄 요약

Sliced Iterative Generator(SIG)는 차원 압축 없이 1차원 데이터 슬라이스에서 반복적인 최적 운반을 사용하여 데이터 분포를 일치시키는 정규화 흐름 기반 생성 모델로, MNIST 및 Fashion-MNIST에서 최신 기준 FID 점수를 달성한다. 이는 백프로파게이션과 미니배치를 포함한 표준 딥러닝 기법을 피하면서도 효율적인 우도 평가 및 이상치 탐지 기능을 제공한다.

ABSTRACT

We introduce the Sliced Iterative Generator (SIG), an iterative generative model that is a Normalizing Flow (NF), but shares the advantages of Generative Adversarial Networks (GANs). The model is based on iterative Optimal Transport of a series of 1D slices through the data space, matching on each slice the probability distribution function (PDF) of the samples to the data. To improve the efficiency, the directions of the orthogonal slices are chosen to maximize the PDF difference between the generated samples and the data using Wasserstein distance at each iteration. A patch based approach is adopted to model the images in a hierarchical way, enabling the model to scale well to high dimensions. Unlike GANs, SIG has a NF structure and allows efficient likelihood evaluations that can be used in downstream tasks. We show that SIG is capable of generating realistic, high dimensional samples of images, achieving state of the art FID scores on MNIST and Fashion MNIST without any dimensionality reduction. It also has good Out of Distribution detection properties using the likelihood. To the best of our knowledge, SIG is the first iterative (greedy) deep learning algorithm that is competitive with the state of the art non-iterative generators in high dimensions. While SIG has a deep neural network architecture, the approach deviates significantly from the current deep learning paradigm, as it does not use concepts such as mini-batching, stochastic gradient descent, gradient back-propagation through deep layers, or non-convex loss function optimization. SIG is very insensitive to hyper-parameter tuning, making it a useful generator tool for ML experts and non-experts alike.

연구 동기 및 목표

• GAN의 샘플 품질과 정규화 흐름의 우도 평가 기능을 결합한 딥 생성 모델을 개발한다.
• 특히 MNIST 및 Fashion-MNIST와 같은 데이터셋을 위해 차원 압축 없이 고차원 이미지 생성을 가능하게 한다.
• 표준 딥러닝 최적화 철학을 피하는 트레이닝 없는, 하이퍼파rameter에 민감하지 않은 프레임워크를 설계한다.
• 정규화 흐름 구조에서 유도된 우도 점수를 활용해 이상치 탐지 성능을 향상시킨다.
• 비선형 손실 함수의 종단 간 최적화 없이도 반복적이고 탐욕적인 최적화 전략을 통해 경쟁 가능한 성능을 달성한다.

제안 방법

• 모델은 데이터 공간을 관통하는 수직 1차원 슬라이스에서 반복적인 최적 운반을 수행하여 각 슬라이스에서 생성 샘플의 PDF를 데이터 PDF와 일치시킨다.
• 각 반복 단계에서 다음 슬라이스의 방향은 생성된 PDF와 데이터 PDF 간의 워셔스타인 거리를 최대화하도록 선택되어 점진적인 향상이 보장된다.
• 이미지를 다루기 위해 패치 기반 계층적 접근 방식을 사용하여 고차원 데이터에 대한 확장성을 확보한다.
• 정규화 흐름 아키텍처를 활용해 정확한 우도 계산이 가능하게 하여 이상치 탐지와 같은 후속 작업을 지원한다.
• 학습 과정에서 미니배치, 확률적 경사 하강법, 딥 네트워크를 통한 백프로파게이션을 회피하고, 대신 반복적 슬라이스 최적화에 의존한다.
• 이 방법은 본질적으로 탐욕적인 성격을 지지며, 비볼록 손실 함수의 종단 간 최적화가 필요 없이 흐름을 단계별로 업데이트한다.

실험 결과

연구 질문

• RQ1 반복적이고 백프로파게이션 기반이 아닌 딥러닝 모델이 고차원 공간에서 최신 기준의 이미지 생성 품질을 달성할 수 있는가?
• RQ2 정규화 흐름 기반 생성자 모델은 높은 샘플 정밀도를 유지하면서도 효율적인 우도 평가 및 이상치 탐지 기능을 제공할 수 있는가?
• RQ3 적응적인 방향 선택을 포함한 패널 기반 최적 운반 접근 방식이 표준 GAN 및 정규화 흐름보다 고차원 이미지 생성에서 뛰어난 성능을 내는가?
• RQ4 기존의 딥 생성 모델과 비교해 제안된 방법이 하이퍼파ram터 조정에 얼마나 강인한가?
• RQ5 종단 간 학습 없이도 1차원 슬라이스에서 워셔스타인 거리 기반의 탐욕적 반복 최적화 전략이 복잡한 데이터 분포를 효과적으로 모델링할 수 있는가?

주요 결과

• SIG는 차원 압축 없이도 MNIST 및 Fashion-MNIST 데이터셋에서 최신 기준 Fréchet Inception Distance(FID) 점수를 달성한다.
• 정규화 흐름 아키텍처 덕분에 정확한 우도 평가가 가능하여 신뢰할 수 있는 이상치 탐지가 가능하다.
• SIG는 하이퍼파ram터 조정에 매우 민감하지 않아 전문가뿐 아니라 비전문가에게도 접근하기 용이하다.
• 반복적이고 슬라이스 기반의 접근 방식은 계층적 패치 기반 전략을 통해 고차원 이미지 데이터의 효과적인 모델링을 가능하게 한다.
• SIG는 고차원에서 비반복적 최신 기준 생성자와 경쟁하는 성능을 달성한 최초의 반복적(탐욕적) 딥러닝 알고리즘이다.
• 백프로파게이션과 미니배치를 회피함으로써 표준 딥러닝 철학에서 벗어나면서도 강력한 생성 성능 유지를 달성한다.