[논문 리뷰] Amortized Projection Optimization for Sliced Wasserstein Generative Models

Khai Nguyen, Nhat Ho|arXiv (Cornell University)|2022. 03. 25.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 반복 최적화 루프를 제거하기 위해 최적의 투영 방향을 예측하도록 학습하는 암시 최적화( amortized projection optimization)를 제안하여 절삭 워샤르슈타인 생성 모델의 속도를 향상시킨다. 이 방법은 선형, 일반화된 선형, 비선형의 세 가지 암시 모델을 도입하여 새로운 미니배치 손실(LA-SW, GA-SW, NA-SW)을 도출하며, 이는 Max-SW와 큰 L을 사용한 표준 SW보다 더 빠른 훈련과 향상된 생성 성능을 달성한다.

ABSTRACT

Seeking informative projecting directions has been an important task in utilizing sliced Wasserstein distance in applications. However, finding these directions usually requires an iterative optimization procedure over the space of projecting directions, which is computationally expensive. Moreover, the computational issue is even more severe in deep learning applications, where computing the distance between two mini-batch probability measures is repeated several times. This nested loop has been one of the main challenges that prevent the usage of sliced Wasserstein distances based on good projections in practice. To address this challenge, we propose to utilize the learning-to-optimize technique or amortized optimization to predict the informative direction of any given two mini-batch probability measures. To the best of our knowledge, this is the first work that bridges amortized optimization and sliced Wasserstein generative models. In particular, we derive linear amortized models, generalized linear amortized models, and non-linear amortized models which are corresponding to three types of novel mini-batch losses, named amortized sliced Wasserstein. We demonstrate the favorable performance of the proposed sliced losses in deep generative modeling on standard benchmark datasets.

연구 동기 및 목표

• 절삭 워샤르슈타인 GAN에서 반복적 투영 최적화의 높은 계산 비용을 해결한다.
• 훈련을 느리게 만드는 중첩 최적화 루프(전역 모델 훈련 + 국소 투영 최적화)를 줄인다.
• 표본 품질을 희생시키지 않고 훈련 효율성과 생성 성능을 향상시킨다.
• 암시 최적화와 최적 운반 이론을 융합하여 정보적인 투영 방향을 학습한다.
• 확장 가능하고 미분 가능한 모델을 개발하여 미니배치 분포에 대한 최적의 투영을 예측한다.

제안 방법

• 미니배치 확률 측도 간 최적의 투영 방향을 예측하기 위한 암시 모델을 제안하여 반복 최적화를 대체한다.
• 선형, 일반화된 선형, 비선형의 세 가지 유형의 암시 모델을 설계하며, 각각 새로운 미니배치 손실(LA-SW, GA-SW, NA-SW)에 대응한다.
• 입력 미니배치를 최적의 투영 방향으로 매핑하는 신경망을 훈련시켜 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 예측된 방향을 절삭 워샤르슈타인 거리 계산에 사용하여 몬테카를로 샘플링이나 반복 최대화를 대체한다.
• SNGAN과 같은 깊이 학습 생성 모델에 암시 손실을 통합하여 모델 파라미터와 투영 방향을 함께 최적화한다.
• 학습 가능한 가중치로 투영 예측자(parameterized)를 정의하고 확률적 경사 하강법을 사용함으로써 미분 가능성과 확장 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 암시 최적화가 절삭 워샤르슈타인 GAN에서 반복적 투영 탐색을 대체하여 훈련 시간을 단축시킬 수 있는가?
• RQ2 선형, 일반화된 선형, 비선형의 다양한 암시 모델 아키텍처가 정보적인 투영 방향을 예측하는 데 어떻게 비교되는가?
• RQ3 제안된 암시 절삭 워샤르슈타인 손실이 Max-SW와 큰 L을 사용한 표준 SW에 비해 훈련 수렴성과 표본 품질을 향상시키는가?
• RQ4 기존의 SW 변종에 비해 제안된 암시 모델의 계산 및 메모리 오버헤드는 어떠한가?
• RQ5 학습된 투영 방향이 다양한 데이터 분포와 미니배치 구성에 일반화되는가?

주요 결과

• 제안된 LA-SW 손실은 L=1인 SW와 Max-SW와 유사한 훈련 속도를 달성하면서도 높은 표본 품질을 유지한다.
• LA-SW는 L ≥ 100인 SW와 T₂ ≥ 10인 Max-SW보다 더 빠르고 메모리 사용량도 적어 가장 효율적인 변종이다.
• GA-SW와 NA-SW는 약간의 더 느린 훈련 속도와 더 높은 메모리 사용량(최대 6.16 GB)을 보이지만, Max-SW와 큰 L을 사용한 SW보다 FID 및 IS 점수에서 뛰어난 성능을 보인다.
• LA-SW에서 생성된 이미지는 정량적 지표와 일치하는 고도로 향상된 품질을 보이며, 시각화에서 특별한 선택 기준 없이 일관된 결과를 보였다.
• 암시 모델은 중첩 최적화 부담을 크게 줄여 절삭 워샤르슈타인 GAN의 확장 가능한 훈련을 가능하게 했다.
• 실험 결과, LA-SW, GA-SW, NA-SW는 CIFAR10, CelebA, STL10, CelebA-HQ 전반에서 Max-SW와 표준 SW보다 FID 및 인ception 점수에서 뛰어난 성능을 보였다.