[논문 리뷰] Generative Models as Distributions of Functions

Emilien Dupont, Yee Whye Teh외 1명|arXiv (Cornell University)|2021. 02. 09.

Image Processing and 3D Reconstruction참고 문헌 72인용 수 13

한 줄 요약

이 논문은 데이터를 이산 격자가 아니라 연속 함수로 간주하는 생성 모델링 프레임워크를 제안하며, 신경망 함수의 분포를 통해 해상도에 의존하지 않는 학습을 가능하게 한다. 하이퍼넷워크와 연속 공간 판별자와 함께 적대적 훈련을 사용하여, 격자 해상도나 이산화에 의존하지 않고 다양한 데이터 유형—이미지, 3차원 형태, 기후 데이터—에서 고품질이고 선명한 샘플을 생성할 수 있다.

ABSTRACT

Generative models are typically trained on grid-like data such as images. As a result, the size of these models usually scales directly with the underlying grid resolution. In this paper, we abandon discretized grids and instead parameterize individual data points by continuous functions. We then build generative models by learning distributions over such functions. By treating data points as functions, we can abstract away from the specific type of data we train on and construct models that are agnostic to discretization. To train our model, we use an adversarial approach with a discriminator that acts on continuous signals. Through experiments on a wide variety of data modalities including images, 3D shapes and climate data, we demonstrate that our model can learn rich distributions of functions independently of data type and resolution.

연구 동기 및 목표

• 특히 3차원에서 해상도 격자에 따라 모델 크기와 훈련 비용이 증가하는 생성 모델링에서의 이산화의 악영향을 해결한다.
• 이미지를 2차원 배열, 볼륨을 3차원 격자로 표현하는 격자 기반 표현 방식의 한계를 극복하여 확장성과 해상도 독립성을 향상시킨다.
• 데이터 유형이나 해상도에 관계없이 작동하는 연속 함수 기반의 통합 생성 모델링 프레임워크를 개발한다.
• 암묵적 신경망 표현을 사용하여 복잡하고 고주파 신호(예: 선명한 이미지, 세밀한 3차원 형태)의 고품질 생성을 가능하게 한다.
• 동일한 훈련 절차를 사용하여 다양한 데이터 모odal리티에서 부드럽고 rich한 함수 분포를 학습할 수 있는 단일 모델 아키텍처를 훈련한다.

제안 방법

• 각 데이터 포인트를 신경망의 가중치 $ \theta $로 파arameter화된 연속 함수 $ f_\theta: \mathbb{R}^d \to \mathbb{R}^k $로 표현하며, 고주파 신호를 모델링하기 위해 좌표 기반 인코딩(예: 무작위 푸리에 특징)을 사용한다.
• 함수 네트워크의 가중치 $ \theta $를 하이퍼넷워크로 파arameter화하여 함수 분포를 모델링함으로써 다양한 함수의 확률적 생성을 가능하게 한다.
• 판별자는 좌표-특징 쌍의 집합 $ \{ (\mathbf{x}_i, \mathbf{y}_i) \} $ 에 직접 작용하는 적대적 프레임워크를 사용하며, 이를 이산 격자가 아니라 연속 신호로 간주한다.
• 지문 순서에 영향을 받지 않으며 다양한 수의 점에 일반화할 수 있도록 대칭적이고 순열 불변 아키텍처를 갖춘 세트 기반 판별자로 국소 인코딩에서 글로벌 점수를 계산한다.
• 표준 MLP가 저주파 함수에 치우쳐 있는 것을 완화하기 위해 고주파 성분의 모델링을 향상시키기 위해 무작위 푸리에 특징(RFF)을 활용한다.
• 이론적 분석을 통해 판별자의 리프시츠 상수를 제한함으로써 훈련 안정성을 확보하여 연속 함수 공간에서 신뢰할 수 있는 GAN 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 해당 데이터의 해상도나 격자 구조에 영향을 받지 않고, 연속 함수의 분포를 학습할 수 있는 생성 모델을 훈련할 수 있는가?
• RQ2 동일한 훈련 절차를 사용하여 이미지, 3차원 형태, 기후 데이터와 같은 다양한 데이터 모달리티에서 고품질이고 선명한 샘플을 생성할 수 있는 단일 모델 아키텍처가 가능한가?
• RQ3 격자 기반 GAN과 비교해 연속 좌표-특징 집합에서의 적대적 훈련이 샘플 품질과 해상도 독립성 측면에서 우월하거나 더 잘 일반화되는가?
• RQ4 RFF 인코딩을 갖춘 암묵적 신경망 표현이 생성 모델링에서 고주파 신호를 효과적으로 모델링하여 선명하고 현실적인 샘플 생성을 가능하게 하는가?
• RQ5 다양한 데이터 유형 간에도 불구하고, 모델이 의미 있는 데이터 다양성의 연속적인 다양성을 반영하는 부드럽고 보간 가능한 잠재 공간을 학습하는가?

주요 결과

• 제안된 모델인 GASP는 CelebAHQ, MNIST 등의 이미지, ShapeNet 등의 3차원 형태, ERA5 등의 기후 데이터에서 고해상도이고 선명한 샘플을 생성하며, 정성적 품질이 실제 데이터와 동일하거나 이를 초월한다.
• 해상도에 의존하지 않는 생성이 가능하다: 64×64 해상도의 낮은 해상도 이미지로 훈련한 후에도 재학습 없이 최대 512×512 해상도의 초해상도 생성이 가능하다.
• 함수 공간에서의 잠재 공간 보간은 부드럽고 일관된 전이를 생성하며, 이는 모델이 의미 있는 연속적인 데이터 다양성 다각형을 학습하고 있음을 시사한다.
• 기후 데이터(예: 기온)의 생성 분포가 히스토그램 비교를 통해 진짜 테스트 세트 분포와 매우 유사함을 확인하여, 충실한 분포 학습이 이루어졌음을 나타낸다.
• 모델은 데이터 유형 간 일반화가 가능하다: 아키텍처나 훈련 설정을 변경하지 않고도 이미지, 3차원 형태, 2차원 기후 필드에서 모두 분포를 성공적으로 학습한다.
• 무작위 푸리에 특징의 사용으로 고주파 성분의 효과적인 모델링이 가능해져, 표준 암묵적 표현이 포착하지 못한 선명한 질감과 세부 정보를 생성할 수 있다.