[논문 리뷰] Universality Theorems for Generative Models

Valentin Khrulkov, Ivan Oseledets|arXiv (Cornell University)|2019. 05. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 5

한 줄 요약

이 논문은 경계 조건이 약한 활성화 함수를 갖는 순방향 신경망이 임의의 호프스도르프 거리 이내에서 컴 pact하고 연결된 데이터 다양체를 근사할 수 있음을 증명함으로써 생성 모델에 대한 이론적 보편성을 확립한다. 또한 같은 차원을 갖는 임의의 두 다양체에 대해, 이들이 상호 근사 역함수 기능을 수행할 수 있도록 훈련된 두 신경망을 구성할 수 있음을 보이며, 이는 사이클 일致성 생성을 가능하게 한다.

ABSTRACT

Despite the fact that generative models are extremely successful in practice, the theory underlying this phenomenon is only starting to catch up with practice. In this work we address the question of the universality of generative models: is it true that neural networks can approximate any data manifold arbitrarily well? We provide a positive answer to this question and show that under mild assumptions on the activation function one can always find a feedforward neural network that maps the latent space onto a set located within the specified Hausdorff distance from the desired data manifold. We also prove similar theorems for the case of multiclass generative models and cycle generative models, trained to map samples from one manifold to another and vice versa.

연구 동기 및 목표

• 데이터 다양체의 맥락에서 생성 모델의 보편 근사 능력에 대한 이론적 기초를 확립하는 것.
• 신경망이 주어진 호프스도르프 거리 이내에서 임의의 컴 pact하고 연결된 다양체를 근사할 수 있는지 조사하는 것.
• 서로 분리된 다양체로 구성된 다중 클래스 데이터셋으로의 보편성 확장을 포함하고, 양방향 사상 학습을 수행하는 사이클 생성 모델에 대한 보편성을 확장하는 것.
• 임의의 동일한 차원을 갖는 두 다양체 쌍에 대해, 각각이 상호 근사 역함수 기능을 수행하는 신경망이 존재하는지 보여주는 것.
• 딥 생성 모델의 표현 능력을 이해하기 위한 기하학적이고 수학적으로 엄밀한 프레임워크를 제공하는 것.

제안 방법

• 신경망에 의해 잠재 다양체의 이미지와 목표 데이터 다양체 사이의 가까움을 측정하기 위해 호프스도르프 거리를 사용한다.
• 다양체의 부분집합에서 정의된 미분동형사상들을 전체 주변 공간으로 매끄럽게 연장하기 위해 윌리엄슨 확장 정리를 적용한다.
• 유한한 집합 위에서 매끄러운 함수를 순방향 신경망을 사용해 근사할 수 있음을 보여주는 보편 근사 정리(Hornik, 1991)를 활용한다.
• 전방 및 역방향 모두에서 제어 가능한 오차를 갖는 한 다양체의 컴 pact 부분집합에서 다른 다양체로 매핑하는 신경망을 구축한다.
• 리만 기하학과 위상수학 도구를 활용하여, 주어진 다양체에 대해 전체 측도를 갖는 미분동형 부분집합의 존재를 보장한다.
• 네트워크 근사의 복합을 사용해 역매핑의 오차를 제한하고, 근사적 역함수성의 존재를 증명한다.

실험 결과

연구 질문

• RQ1 순방향 신경망이 임의의 컴 pact하고 연결된 데이터 다양체를 임의의 호프스도르프 거리 이내에서 근사할 수 있는가?
• RQ2 생성 모델의 보편성은 서로 다른 다수의 다양체로 구성된 다중 클래스 데이터셋으로까지 확장되는가?
• RQ3 각각이 상호 근사 역함수 기능을 수행하는 두 신경망을 구성할 수 있는가? 이는 사이클 일치 생성을 가능하게 한다.
• RQ4 보편성 결과는 매끄러움에 의존하는가, 아니면 위상수학적 다양체에 대해서도 성립하는가?
• RQ5 다양체의 기하학적 또는 위상수학적 성질 중에서, 요구되는 신경망 아키텍처의 복잡도에 영향을 주는 요소는 무엇인가?

주요 결과

• 임의의 컴 pact하고 연결되고 매끄러운 다양체와 임의의 ε > 0에 대해, 잠재 공간으로부터 이미지와 목표 다양체 사이의 호프스도르프 거리가 ε 이하가 되는 순방향 신경망이 존재한다.
• 활성화 함수가 비상수이면서 유계이고 연속일 경우, 다양체가 매끄럽지 않더라도(즉, 위상수학적 다양체일 경우에도) 결과는 성립한다.
• 임의의 두 컴 pact하고 연결된 동일한 차원의 다양체에 대해, fθ와 gφ라는 신경망이 존재하여 fθ는 첫 번째 다양체의 전체 측도 부분집합을 두 번째 다양체의 전체 측도 부분집합으로 ε 이내로 매핑하고, 반대로 gφ도 동일한 조건을 만족시킨다.
• fθ ∘ gφ는 첫 번째 다양체에서 O(ε) 오차 내에서 항등함수를 근사하고, gφ ∘ fθ는 두 번째 다양체에서 O(ε) 오차 내에서 항등함수를 근사하며, 이 상수는 다양체에만 의존한다.
• 이 구성은 다양체의 전체 측도 부분집합 간의 미분동형사상을 전체 주변 공간으로 확장하고, 이를 신경망으로 근사하는 데 기반한다.
• 이론적 프레임워크는 사이클 GAN의 경험적 성공을 설명하며, 이러한 모델이 원칙적으로 동일한 차원을 갖는 임의의 두 다양체 간의 양방향 사상을 학습할 수 있음을 시사한다.