[논문 리뷰] Revisiting Sliced Wasserstein on Images: From Vectorization to Convolution

Khai Nguyen, Nhat Ho|arXiv (Cornell University)|2022. 04. 04.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 이미지 생성에서 전통적인 슬라이스드 워셔스타인(SW)의 한계를 극복하기 위해 벡터화된 투영 대신 학습 가능한 컨볼루션 연산자를 사용하는 컨볼루션 슬라이스드 워셔스타인(CSW) 및 그 변종을 제안한다. 스트라이드, 드일레이션, 비선형 활성화를 컨볼루션 레이어에 통합함으로써 CSW는 공간적 구조를 유지하고 메모리 사용량을 줄이며, CIFAR10, STL10, CelebA-HQ에서 생성 모델 학습 시 더 빠른 수렴과 향상된 성능을 달성한다.

ABSTRACT

The conventional sliced Wasserstein is defined between two probability measures that have realizations as vectors. When comparing two probability measures over images, practitioners first need to vectorize images and then project them to one-dimensional space by using matrix multiplication between the sample matrix and the projection matrix. After that, the sliced Wasserstein is evaluated by averaging the two corresponding one-dimensional projected probability measures. However, this approach has two limitations. The first limitation is that the spatial structure of images is not captured efficiently by the vectorization step; therefore, the later slicing process becomes harder to gather the discrepancy information. The second limitation is memory inefficiency since each slicing direction is a vector that has the same dimension as the images. To address these limitations, we propose novel slicing methods for sliced Wasserstein between probability measures over images that are based on the convolution operators. We derive convolution sliced Wasserstein (CSW) and its variants via incorporating stride, dilation, and non-linear activation function into the convolution operators. We investigate the metricity of CSW as well as its sample complexity, its computational complexity, and its connection to conventional sliced Wasserstein distances. Finally, we demonstrate the favorable performance of CSW over the conventional sliced Wasserstein in comparing probability measures over images and in training deep generative modeling on images.

연구 동기 및 목표

• 이미지의 벡터화로 인해 발생하는 전통적인 슬라이스드 워셔스타인(SW)의 비효율성과 구조 손실 문제를 해결하기 위해.
• 기존 SW에서 고차원 투영 벡터를 저장함으로써 발생하는 메모리 비효율성을 해결하기 위해.
• 스ライ싱을 컨볼루션 연산자로 재정의하여, SW로 훈련된 딥 생성 모델의 품질과 수렴 속도를 향상시키기 위해.
• 제안된 컨볼루션 슬라이싱 프레임워크의 거리 측정 성질, 샘플 복잡도, 계산 효율성에 대해 조사하기 위해.
• 여러 데이터셋에서의 이미지 생성 벤치마크에서 표준 SW에 비해 CSW의 열등한 성능을 입증하기 위해.

제안 방법

• 이미지 텐서를 일차원 공간으로 투영하기 위해 표준 행렬 곱셈 대신 컨볼루션 연산을 사용하여 공간적 구조를 유지한다.
• 커널 크기, 스트라이드, 드일레이션를 갖는 학습 가능한 컨볼루션 필터를 사용하여 공간적으로 인지 가능한 슬라이싱을 가능하게 하는 컨볼루션 슬라이스드 워셔스타인(CSW)을 도입한다.
• 표현 능력을 향상시키기 위해 비선형 활성화 함수(예: ReLU)와 풀링 메커니즘을 통합하여 CSW의 변종을 설계한다.
• CSW 거리를 컨볼루션된 투영에 대해 일차원 워셔스타인 거리의 기대값으로 정의하고, 컨볼루션 필터의 몬테카를로 샘플링을 통해 근사한다.
• 생성 적대 신경망(GANs)에 CSW를 통합하여 생성자 및 판별자 네트워크 훈련의 손실 함수로 사용한다.
• CSW를 목적 함수로 사용하면서도, 판별자에 스펙트럴 정규화와 잔차 블록을 적용하여 훈련 안정성을 높인다.

실험 결과

연구 질문

• RQ1 컨볼루션 연산자가 슬라이스드 워셔스타인의 벡터화된 투영에 대체되어 이미지의 공간적 구조를 더 잘 유지할 수 있는가?
• RQ2 기존의 조밀한 투영 행렬을 사용하는 전통적 SW에 비해 제안된 컨볼루션 슬라이싱 프레임워크가 메모리 사용량을 줄이는가?
• RQ3 샘플 복잡도, 계산 복잡도, 거리 측정 성질 측면에서 CSW는 표준 SW에 비해 어떻게 비교되는가?
• RQ4 CSW는 이미지 데이터셋에서 딥 생성 모델링의 훈련 안정성과 수렴 속도를 향상시키는가?
• RQ5 CIFAR10, STL10, CelebA-HQ에서 기반한 CSW 기반 GAN의 경험적 성능은 FID 및 인ception 스코어 측면에서 어떻게 되는가?

주요 결과

• CSW는 훈련 에포크 동안 낮은 FID 점수를 보이며 기존 SW에 비해 더 빠른 수렴을 달성한다.
• CIFAR10에서 NCSW-d 변종(드일레이션 포함)은 1000 에포크에서 최종 FID 점수 42.30과 인ception 스코어 6.31을 기록했다.
• 제안된 CSW 변종은 모든 평가된 데이터셋(CIFAR10, STL10, CelebA-HQ)에서 표준 SW에 비해 FID 및 인ception 스코어 측면에서 일관되게 뛰어난 성능을 보였다.
• 컨볼루션 슬라이싱을 사용함으로써 전체 투영 벡터 저장을 방지함으로써 메모리 오버헤드를 감소시켜 고해상도 이미지에 대한 확장 가능한 응용을 가능하게 하였다.
• 경험적 결과로, CSW가 표준 SW에서 관찰되는 '붕괴된' 슬라이스 문제(즉, 투영이 영점에서 델타 함수가 되는 현상)를 완화하여 더 정보가 풍부하고 다양한 투영 방향을 학습함을 확인하였다.
• 이론적 및 경험적 분석을 통해 CSW가 거리 측정 성질을 유지하고, 차원의 종말 문제를 피하는 순서 𝒪(n⁻¹/²)의 샘플 복잡도를 달성함을 확인하였다.