[논문 리뷰] Sinkhorn-AutoDiff: Tractable Wasserstein Learning of Generative Models

Aude Genevay, Gabriel Peyré외 1명|arXiv (Cornell University)|2017. 06. 01.

Generative Adversarial Networks and Image Synthesis인용 수 11

한 줄 요약

이 논문은 최적 운반(OT) 손실을 사용하여 대규모 생성 모델을 훈련시키기 위한, GPU 최적화된 미분 가능 방법인 Sinkhorn-AutoDiff를 소개한다. 엔트로피 스무딩과 Sinkhorn 반복의 자동 미분를 조합함으로써, 고차원 분포에서 발생하는 계산 및 기울기 불안정성 문제를 해결하는 안정적이고 확장 가능한 OT 기반 훈련을 가능하게 한다.

ABSTRACT

The ability to compare two degenerate probability distributions (i.e. two probability distributions supported on two distinct low-dimensional manifolds living in a much higher-dimensional space) is a crucial problem arising in the estimation of generative models for high-dimensional observations such as those arising in computer vision or natural language. It is known that optimal transport metrics can represent a cure for this problem, since they were specifically designed as an alternative to information divergences to handle such problematic scenarios. Unfortunately, training generative machines using OT raises formidable computational and statistical challenges, because of (i) the computational burden of evaluating OT losses, (ii) the instability and lack of smoothness of these losses, (iii) the difficulty to estimate robustly these losses and their gradients in high dimension. This paper presents the first tractable computational method to train large scale generative models using an optimal transport loss, and tackles both these issues by relying on two key ideas: (a) entropic smoothing, which turns the original OT loss into one that can be computed using Sinkhorn fixed point iterations; (b) algorithmic (automatic) differentiation of these iterations. These two approximations result in a robust and differentiable approximation of the OT loss with streamlined GPU execution. The resulting computational architecture complements nicely standard deep network generative models by a stack of extra layers implementing the loss function.

연구 동기 및 목표

• 시각 및 자연어 처리에서 흔한, 고차원 공간 내 저차원 다양체에 지지되는 열악한 확률 분포를 비교하는 문제에 대응한다.
• 딥 생성 모델링에서 정확한 최적 운반(OT) 손실의 계산 비용이 너무 높고 기울기 불안정성이 발생하는 문제를 해결한다.
• 손실을 미분 가능하고 효율적으로 GPU에서 실행할 수 있도록 하여, OT 기반 목표를 사용한 강력하고 확장 가능한 생성 모델 훈련을 가능하게 한다.
• 기존 딥 생성 아키텍처에 쉽게 통합할 수 있는 실용적이고 플러그인 호환성 있는 프레임워크를 제공한다. 이는 OT 손실 계산을 미분 가능한 레이어로 통합한다.

제안 방법

• 원래의 최적 운반 문제에 엔트로피 스무딩을 적용하여, Sinkhorn 고정점 반복으로 해결할 수 있는 정규화된 OT 문제로 변형한다.
• 반복적인 Sinkhorn 알고리즘을 사용하여 워셔슈타인 거리의 미분 가능 근사치를 계산함으로써 기울기 역전파를 가능하게 한다.
• 알고리즘적(자동) 미분을 사용하여 계산 그래프에 Sinkhorn 반복을 통합하여 반복 과정을 통해 기울기를 계산한다.
• 기존의 손실 함수를 대체할 수 있는, 미분 가능한 레이어 스택을 설계하여, OT 기반 목표를 사용한 엔드 투 엔드 훈련을 가능하게 한다.
• GPU 가속을 활용하여 Sinkhorn 반복 및 그 기울기 계산을 최적화함으로써 대규모 모델과 고차원 데이터에 대한 확장성을 확보한다.
• 최적화 과정에서 엔트로피 정규화 파라미터를 제어하여 손실의 수치적 안정성과 부드러움을 보장한다.

실험 결과

연구 질문

• RQ1 엔트로피 스무딩과 자동 미분를 조합하여 정확한 OT 손실을 대규모 딥 생성 모델에 적용 가능한 형태로 만들 수 있는가?
• RQ2 고차원 데이터에서 훈련 안정성과 수렴성 측면에서, 미분 가능한 Sinkhorn 근사치는 정확한 OT와 비교해 어떻게 성능을 내는가?
• RQ3 기존의 딥 생성 아키텍처에 구조적 수정 없이, 제안된 방법을 얼마나 잘 통합할 수 있는가?
• RQ4 엔트로피 정규화 파라미터는 근사 정확도와 훈련 효율성 사이의 상호 보완적 트레이드오프에 어떤 영향을 미치는가?
• RQ5 결과로 도출된 프레임워크는 다양한성과 유지하면서도, 경쟁력 있는 생성 모델링 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 정확한 OT의 계산 및 미분 가능성 문제를 해결하여, 최적 운반 손실을 사용한 생성 모델의 안정적이고 효율적인 훈련을 가능하게 한다.
• 엔트로피 스무딩과 Sinkhorn 반복의 자동 미분를 조합하면, 딥 러닝에 적합한 부드럽고 미분 가능한 워셔슈타인 거리 근사치를 생성한다.
• GPU 하드웨어에서 높은 계산 효율성을 달성하여, 대규모 생성 모델링에 있어 OT 기반 접근이 실현 가능하게 한다.
• 프레임워크는 딥 생성 모델에 미분 가능한 레이어로 원활하게 통합되어, OT 목표를 사용한 엔드 투 엔드 훈련을 가능하게 한다.
• 저차원 데이터 다양체가 존재하는 상황에서, 기존의 분산 기반 손실(예: GAN 또는 VAE)에 비해 강력한 대안을 제공한다.
• 표준 OT와 정보 이론적 분산이 실패하는 고차원 환경에서도 향상된 안정성과 수렴성을 보여준다.