[논문 리뷰] Learning with minibatch Wasserstein : asymptotic and gradient properties

Kilian Fatras, Younes Zine외 3명|arXiv (Cornell University)|2019. 10. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 17

한 줄 요약

이 논문은 미니배치 워샤르스타인 훈련을 분석하여, 편향이 없는 기울기와 농도 경계를 제공함으로써 대규모 학습에서 안정적인 최적화를 가능하게 한다. 진정한 거리 성질을 상실함에도 불구하고, 메모리 사용 감소와 GAN, 기울기 흐름, 색상 이동에서의 효과적인 성능이라는 실용적 이점이 있으며, 제어된 배치 크기와 배치 수를 기반으로 한 여러 작업에서 경험적으로 검증되었다.

ABSTRACT

Optimal transport distances are powerful tools to compare probability distributions and have found many applications in machine learning. Yet their algorithmic complexity prevents their direct use on large scale datasets. To overcome this challenge, practitioners compute these distances on minibatches {\em i.e.} they average the outcome of several smaller optimal transport problems. We propose in this paper an analysis of this practice, which effects are not well understood so far. We notably argue that it is equivalent to an implicit regularization of the original problem, with appealing properties such as unbiased estimators, gradients and a concentration bound around the expectation, but also with defects such as loss of distance property. Along with this theoretical analysis, we also conduct empirical experiments on gradient flows, GANs or color transfer that highlight the practical interest of this strategy.

연구 동기 및 목표

• 대규모 기계 학습에서 널리 사용되지만 이해가 부족한, 미니배치 최적 운반의 이론적 성질을 이해하기 위해.
• 미니배치 최적 운반의 편향 없음 및 농도와 같은 바람직한 통계적 및 최적화 성질을 유지하는지 분석하기 위해.
• 실제 응용에서 계산 효율성과 거리 측정법 성질의 손실 간의 상충 관계 평가하기 위해.
• GAN 훈련, 기울기 흐름, 색상 이동과 같은 실제 작업에서 미니배치 최적 운반의 효과성 입증하기 위해.

제안 방법

• 데이터의 무작위 부분집합에 대해 여러 개의 작은 최적 운반 문제를 평균화하는 방식으로 미니배치 최적 운반을 수식화한다.
• 미니배치 추정자의 渐近적 성질을 유도하여, 그것이 기대값에서 진짜 최적 운반 거리로 수렴함을 증명한다.
• 데이터 차원에 영향을 받지 않는 농도 경계를 설정하여 안정성을 확보한다.
• 미니배치 손실의 기울기가 편향이 없음을 증명하여, SGD 기반 최적화에서의 사용을 정당화한다.
• 전체 비용 행렬과 운반 행렬을 저장하지 않는 인크리멘탈 알고리즘을 제안하여 메모리 사용을 줄인다.
• geomloss 패키지와 커스텀 구현을 활용하여 2D 분포, CelebA, 색상 이동 작업에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 미니배치 최적 운반은 진짜 최적 운반 거리의 편향 없는 추정자인가?
• RQ2 미니배치 최적 운반 추정자의 渐近적 행동은 어떠한가? 그리고 데이터 차원과 무관한 농도 경계를 도출할 수 있는가?
• RQ3 미니배치 최적 운반 손실의 기울기는 편향이 없는가? 이는 SGD 기반 최적화에서의 사용을 정당화하는가?
• RQ4 배치 수와 배치 크기가 GAN 및 색상 이동과 같은 실제 응용에서 성능에 어떤 영향을 미치는가?
• RQ5 미니배치 전략은 계산 비용을 줄이면서도 분포의 구조를 어느 정도 유지하는가?

주요 결과

• 미니배치 최적 운반 추정자는 渐近적으로 편향이 없으며, 진짜 최적 운반 거리 주변으로 농도가 집중되며, 데이터 차원과 무관한 농도 경계를 가진다.
• 미니배치 최적 운반 손실의 기울기는 편향이 없으며, 깊이 신경망 훈련을 위한 확률적 기울기 하강법에서의 사용을 정당화한다.
• 배치 수 $k$ 를 늘릴수록 분산이 감소하고 색상 이동에서 해상도가 향상되며, 특히 배치 크기 $m$ 이 작을 경우 두드러진다.
• 배치 크기 $m=10$ 일 때 $k=5000$ 은 양호한 해상도를 확보하지 못했지만, $m=1000$ 일 때 $k=5000$ 을 사용하면 고해상도 결과를 얻을 수 있었으며, 이는 배치 크기의 중요성을 보여준다.
• 미니배치 최적 운반은 기울기 흐름과 GAN 모두에서 잘 작동하며, 큰 배치 크기를 사용할수록 정확한 분포 매칭과 부드러운 전이를 가능하게 한다.
• 색상 이동을 위한 인크리멘탈 알고리즘은 전체 행렬 저장을 피하여 대규모 데이터셋에서 확장 가능한 바리센트 맵핑을 가능하게 한다.