[논문 리뷰] Wasserstein Iterative Networks for Barycenter Estimation

Alexander Korotin, Vage Egiazarian외 2명|arXiv (Cornell University)|2022. 01. 28.

Aesthetic Perception and Analysis인용 수 4

한 줄 요약

이 논문은 유한한 정규화나 입력-볼록 신경망에 의존하지 않는, 와서르스타인-2 중앙값 추정을 위한 새로운 비편향 알고리즘을 제안한다. 이는 반복 고정점 최적화와 생성 신경망 솔버를 사용하여 연속 확률 측도의 중앙값을 추정한다. 기존 방법들과 달리, 이 방법은 임의의 아키텍처를 허용하며, 대규모 평가를 위한 새로운 데이터셋 Ave, celeba!를 도입하여 이미지 생성 작업에서 최신 기준 FID 점수를 달성한다.

ABSTRACT

Wasserstein barycenters have become popular due to their ability to represent the average of probability measures in a geometrically meaningful way. In this paper, we present an algorithm to approximate the Wasserstein-2 barycenters of continuous measures via a generative model. Previous approaches rely on regularization (entropic/quadratic) which introduces bias or on input convex neural networks which are not expressive enough for large-scale tasks. In contrast, our algorithm does not introduce bias and allows using arbitrary neural networks. In addition, based on the celebrity faces dataset, we construct Ave, celeba! dataset which can be used for quantitative evaluation of barycenter algorithms by using standard metrics of generative models such as FID.

연구 동기 및 목표

• 연속 확률 측도의 와서르스타인-2 중앙값을 계산하기 위한 확장 가능하고 비편향된 알고리즘을 개발한다.
• 엔트로피 또는 제곱 정규화에 의존하는 기존 방법들이 중앙값 추정에 편향을 유도하는 한계를 극복한다.
• 입력-볼록 신경망(ICNNs)을 초월하여 표현력이 풍부하고 비볼록인 신경망을 중앙값 추정에 활용할 수 있도록 한다.
• 대규모 고차원 벤치마크 데이터셋인 Ave, celeba!를 구축하여 중앙값 알고리즘의 정량적 평가를 가능하게 한다.
• 실제 이미지 분포를 대상으로 표준화된 평가를 통해 최적화 운반 연구의 투명성과 재현 가능성을 향상시킨다.

제안 방법

• 이 방법은 Alvarez 등(2016)의 이론적 프레임워크에 기반한 고정점 반복 기반 기법을 사용하여, 중앙값 계산을 고정점 문제로 재구성한다.
• 신경망으로 파arameter화된 생성 모델 $ G_{\xi} $를 사용하여 변화하는 측도 $ \mathbb{P}_{\xi} $를 표현하며, 이는 반복적으로 업데이트되어 중앙값을 근사한다.
• 최적 운반 지도는 신경망 기반 OT 솔버를 사용하여 계산되며, 이는 중앙값 목표함수의 기울기 기반 최적화를 가능하게 한다.
• 알고리즘은 교차 최적화를 통해 중앙값 목표함수를 최소화한다: 고정점 루프 내에서 운반 지도와 생성 네트워크를 번갈아 업데이트한다.
• 이 방법은 생성자에 볼록성 제약을 도입하지 않아, ICNNs를 초월한 일반적이고 표현력 있는 아키텍처의 사용을 허용한다.
• Ave, celeba! 데이터셋은 청소된 얼굴 이미지에 고장 조작(색상 제거, 무작위 반사, 순열)을 적용하여 세 개의 하위집합을 생성하며, 이들의 중앙값은 원본 청소된 이미지로 알려져 있다.

실험 결과

연구 질문

• RQ1 일반 신경망 생성자와 함께 고정점 반복 알고리즘이 엔트로피나 제곱 정규화 없이도 비편향된 와서르스타인-2 중앙값 추정을 달성할 수 있는가?
• RQ2 비볼록적이고 표현력 있는 생성자 모델은 중앙값 추정 작업에서 입력-볼록 신경망과 비교해 어떤 성능을 보이는가?
• RQ3 지식 기반 중앙값이 알려진 대규모 고차원 벤치마크 데이터셋을 통해 중앙값 알고리즘의 정량적 평가가 가능할 수 있는가?
• RQ4 표준 지표인 FID로 측정했을 때, 제안된 방법이 경쟁 가능한 생성 모델로 기능할 수 있는가?
• RQ5 중앙값을 통해 운반 지도를 학습함으로써 이 방법이 도메인 간 이미지 변환을 가능하게 하는가?

주요 결과

• 제안된 알고리즘은 생성 모델로 사용했을 때 CelebA 데이터셋에서 최근 WGAN 기반 모델들과 비교해 최신 기준 FID 점수를 달성한다.
• Ave, celeba! 데이터셋의 64×64 RGB 얼굴 이미지들에 대해 중앙값을 성공적으로 계산하였으며, 이 중앙값은 원본 청소된 이미지와 일치하여 정확한 복원을 입증한다.
• MNIST 및 Fashion-MNIST 데이터셋에서, 숫자 클래스(예: 0과 1)의 중앙값을 계산한 결과, 입력 숫자의 픽셀 단위 평균과 시각적으로 유사한 결과를 도출하여 기하학적 일致성을 확인한다.
• 중앙값을 통해 이미지를 통과시킴으로써 현실적인 도메인 간 이미지(예: 오ран지 색 신발과 가방)를 생성하여, 스타일 전이 및 데이터 변환 분야에서의 유용성을 입증한다.
• Ave, celeba! 데이터셋은 중앙값 알고리즘의 대규모 정량적 평가를 가능하게 하며, 고장 난 얼굴 하위집합의 중앙값이 원본 청소된 얼굴을 복원함으로써 신뢰할 수 있는 기준이 된다.
• 이 방법은 절대 연속성을 유지하기 위해 역전환 가능하거나 정규화 플로우가 필요하지 않으며, 실증 결과에 따르면 일반 GAN 스타일의 생성자만으로도 실용적으로 충분함을 보여준다.