[논문 리뷰] Sinkhorn Natural Gradient for Generative Models

Zebang Shen, Zhenfu Wang외 2명|arXiv (Cornell University)|2020. 11. 09.

Constraint Satisfaction and Optimization참고 문헌 22인용 수 4

한 줄 요약

이 논문은 생성 모델 훈련을 위한 새로운 최적화 방법인 Sinkhorn 자연 경사(SiNG)를 제안한다. 이는 Sinkhorn 산란을 거리로 사용하여 확률 공간에서 가장 가파른 경사 하강을 수행함으로써 이루어지며, 이는 기존 자연 경사 방법과 달리 정확도에 대해 로그 시간 복잡도로 Sinkhorn 정보 행렬(SIM)을 계산함으로써 정확하고 효율적인 업데이트를 가능하게 하며, 스코어 함수가 필요 없고 몽테카를로 통합 하에 안정적인 경험적 추정량을 제공한다.

ABSTRACT

We consider the problem of minimizing a functional over a parametric family of probability measures, where the parameterization is characterized via a push-forward structure. An important application of this problem is in training generative adversarial networks. In this regard, we propose a novel Sinkhorn Natural Gradient (SiNG) algorithm which acts as a steepest descent method on the probability space endowed with the Sinkhorn divergence. We show that the Sinkhorn information matrix (SIM), a key component of SiNG, has an explicit expression and can be evaluated accurately in complexity that scales logarithmically with respect to the desired accuracy. This is in sharp contrast to existing natural gradient methods that can only be carried out approximately. Moreover, in practical applications when only Monte-Carlo type integration is available, we design an empirical estimator for SIM and provide the stability analysis. In our experiments, we quantitatively compare SiNG with state-of-the-art SGD-type solvers on generative tasks to demonstrate its efficiency and efficacy of our method.

연구 동기 및 목표

• 기존 자연 경사 방법의 한계, 특히 스코어 함수 계산의 비가역성과 워셔스타인 기반 대안의 높은 계산 비용을 해결하기 위해.
• 생성 모델에서 직접 확률 공간에 작용하는 자연 경사 방법을 개발하여 Sinkhorn 산란을 사용함으로써 재파rameterization 불변성을 보장하기 위해.
• 목표 정확도에 대해 로그적으로 스케일링되는 효율적으로 계산 가능한 Sinkhorn 정보 행렬(SIM)의 명시적 표현을 유도하기 위해.
• 오직 몽테카를로 샘플만 이용 가능한 상황에서 SIM의 안정적인 경험적 추정량(eSIM)을 설계하여 실용적 훈련에서의 강건성을 확보하기 위해.

제안 방법

• Sinkhorn 산란을 지니는 확률 공간에서의 가장 가파른 경사 하강법으로 SiNG를 제안하며, 반경 ε인 Sinkhorn 볼 내의 기능 최소화의 극한으로 유도된다.
• Sinkhorn 정보 행렬(SIM)을 매개변수 θ에 대한 Sinkhorn 산란의 헤시안으로 유도하며, O(log(1/ε))의 연산으로 계산 가능하다는 것을 보여준다.
• SIM 평가가 생성 측도 αθ에서의 샘플링만 필요로 하고, 기존의 피셔-레이 정보 행렬과 달리 스코어 함수 평가가 필요로 하지 않음을 입증한다.
• 경험적 Sinkhorn 산란의 헤시안 기반으로 SIM의 경험적 추정량(eSIM)을 도입하며, 몽테카를로 샘플링 하에 안정성이 입증된다.
• 행렬을 명시적으로 형성하지 않고도 eSIM을 포함한 행렬-벡터 곱을 효율적으로 계산하기 위해 공액 기울기 방법과 PyTorch의 autograd를 활용한다.
• 기하학적 손실(geomloss) 등을 통해 구현된 미분 가능 Sinkhorn 솔버를 사용하여 임의의 계산 그래프를 통해 역전파를 가능하게 하기 위해 Sinkhorn 잠재변수를 암묵적으로 구성한다.

실험 결과

연구 질문

• RQ1 생성 모델을 위한 자연 경사 방법을 설계할 수 있는가? 이는 스코어 함수 계산이 필요 없고 재파rameterization 불변성을 유지한다.
• RQ2 Sinkhorn 산란의 헤시안(SIM)은 닫힌 형태로 표현 가능하며, 저비용 복잡도로 계산 가능한가?
• RQ3 생성 분포에서의 몽테카를로 샘플링 하에 안정적인 SIM의 경험적 추정량을 구성할 수 있는가?
• RQ4 SiNG의 성능은 생성 모델링 작업에서 수렴 속도와 샘플 효율성 측면에서 SGD 유형의 솔버와 비교해 어떻게 되는가?
• RQ5 SiNG의 연속 시간 근사에서 재파rameterization 불변성이 유지되는가? 이는 딥 생성 모델의 강건한 최적화를 위해 필수적이다.

주요 결과

• Sinkhorn 정보 행렬(SIM)은 명시적 표현을 가지며, 목표 정확도 ε에 대해 O(log(1/ε))의 연산으로 계산 가능하여 효율적이고 정확한 업데이트를 가능하게 한다.
• 제안된 SiNG 알고리즘은 연속 시간 근사에서 재파arameterization 불변성을 유지하므로, 비선형이고 비단사적 변환 Tθ에 대해 강건함을 보장한다.
• SIM의 경험적 추정량 eSIM은 몽테카를로 샘플링 하에 안정적이며, Sinkhorn 잠재변수의 프레셰 도함수의 연속성에 기반한 수렴 보장이 있다.
• 실험 결과, SiNG는 최신의 SGD 유형 솔버(예: Adam, RMSProp)보다 생성 모델 기준 테스트에서 훈련 효율성과 샘플 품질 측면에서 뛰어나다.
• DC-GAN 아키텍처를 사용해 CIFAR-10 및 CelebA 데이터셋에서 훈련할 경우, 기준 최적화기보다 더 빠른 수렴 속도와 더 낮은 FID 점수를 달성한다.
• 구현은 PyTorch의 autograd와 geomloss 라이브러리를 활용하여 SIM을 명시적으로 형성하지 않고도 기울기와 행렬-벡터 곱을 효율적으로 계산한다.