[논문 리뷰] Distributional Sliced-Wasserstein and Applications to Generative Modeling

Khai Nguyen, Nhat Ho외 2명|arXiv (Cornell University)|2020. 02. 17.

3D Shape Modeling and AnalysisEngineering인용 수 18

한 줄 요약

이 논문은 단위원 위에서 최적의 투사 방향 분포를 학습함으로써 방향의 다양성과 정보성의 균형을 이루는 새로운 최적 운반 거리인 Distributional Sliced-Wasserstein (DSW)을 제안한다. 수직 방향을 정규화함으로써 DSW는 SW와 Max-SW에 비해 샘플 효율성을 향상시키고, 더 적은 수의 투사로 MNIST, CelebA, CIFAR10, LSUN에서 최신 기준 성능을 달성한다.

ABSTRACT

Sliced-Wasserstein distance (SW) and its variant, Max Sliced-Wasserstein distance (Max-SW), have been used widely in the recent years due to their fast computation and scalability even when the probability measures lie in a very high dimensional space. However, SW requires many unnecessary projection samples to approximate its value while Max-SW only uses the most important projection, which ignores the information of other useful directions. In order to account for these weaknesses, we propose a novel distance, named Distributional Sliced-Wasserstein distance (DSW), that finds an optimal distribution over projections that can balance between exploring distinctive projecting directions and the informativeness of projections themselves. We show that the DSW is a generalization of Max-SW, and it can be computed efficiently by searching for the optimal push-forward measure over a set of probability measures over the unit sphere satisfying certain regularizing constraints that favor distinct directions. Finally, we conduct extensive experiments with large-scale datasets to demonstrate the favorable performances of the proposed distances over the previous sliced-based distances in generative modeling applications.

연구 동기 및 목표

• 방향을 균일하게 샘플링하는 데서 기인한 Sliced-Wasserstein (SW)의 효율성 부족 문제를 해결하기 위해.
• 단일 최적 방향만을 사용하는 Max-Sliced-Wasserstein (Max-SW)에서 발생하는 정보 손실 문제를 극복하기 위해.
• 다양성과 정보성의 두 가지 기준을 동시에 최대화하는 투사 방향에 대한 원칙적인 확률적 프레임워크를 개발하기 위해.
• 기하학적 정규화를 통해 투사 분포를 최적화하여 샘플 효율성과 생성 모델링 성능을 향상시키기 위해.
• 대규모 데이터셋에서 선형 및 비선형 환경 모두에서 기존의 슬라이스드-워샤르스키 거리 변종들보다 DSW의 우수성을 입증하기 위해.

제안 방법

• Max-SW의 일반화로, 투사 분포를 델타 또는 균일 측도로 고정하는 대신 학습 가능한 분포로 설정하는 Distributional Sliced-Wasserstein (DSW)을 제안한다.
• 단위원 위의 확률 측도에 대한 최적화 문제로 DSW를 공식화하며, 서로 수직이면서 다양한 방향을 선호하도록 제약을 둔다.
• 구면 상에서 투사 방향들이 서로 멀리 떨어지도록 유도하는 정규화 항을 도입하여 데이터 다양체의 커버리지 향상을 도모한다.
• 신경망을 사용해 구면 상의 최적 피셔 측도를 근사하는 이중 경험 형태를 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 비선형성에 대한 원형 함수를 사용해 비선형 투사로 확장한 일반화된 DSW (DGSW)를 제안한다.
• 투사 분포의 미분 가능 리프레젠테이션을 통해 최적화 문제를 확률적 경량 최적화 방법으로 해결한다.

실험 결과

연구 질문

• RQ1 학습된 투사 방향 분포가 고차원 분포에서 슬라이스드-워샤르스키 거리의 샘플 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 같은 수의 투사 수를 사용할 때, 생성 모델링 과제에서 DSW의 성능이 SW와 Max-SW에 비해 어떻게 비교되는가?
• RQ3 투사 공간에서 방향의 다양성에 대한 정규화가 더 나은 일반화와 재구성 품질을 이끌어내는가?
• RQ4 제안된 분포 기반 프레임워크를 비선형 투사로 확장할 수 있으며, 이때 계산 효율성과 성능 유지를 유지할 수 있는가?
• RQ5 기타 슬라이스드-워샤르스키 변종들과 비교해 DSW는 공동 추론 및 이미지 재구성 과제에서 어떻게 성능을 내는가?

주요 결과

• DSW는 동일한 수의 투사로 MNIST, CelebA, CIFAR10, LSUN 등 모든 벤치마크 데이터셋에서 SW와 Max-SW를 뛰어넘는 성능을 달성한다.
• 단지 10개의 투사로도 DSW는 MNIST 숫자를 성공적으로 재구성하지만, SW와 GSW는 명확한 이미지를 생성하지 못한다.
• DSW-1000은 재구성 오차와 분포 유사도를 포함한 모든 평가 지표에서 모든 베이스라인보다 최고의 성능을 기록한다.
• 비선형 변종인 DGSW는 특히 공동 추론 과제에서 다른 비선형 슬라이스드-워샤르스키 거리들보다 뛰어난 성능을 보인다.
• Max-GSW-NN는 양호한 성능을 보였지만 DGSW에 비해 열등한 성능을 보이며, 단일 방향을 최적화하는 것보다 방향 분포를 학습하는 것이 더 효과적임을 시사한다.
• 절단 실험 결과, 방향의 다양성에 대한 정규화가 성능 향상에 크게 기여하며, 정규화가 없는 DSW는 특수한 경우로 Max-SW로 축소됨을 확인한다.