[논문 리뷰] Estimating Barycenters of Measures in High Dimensions

Samuel N. Cohen, Michael Arbel외 1명|arXiv (Cornell University)|2020. 07. 14.

Markov Chains and Monte Carlo Methods참고 문헌 39인용 수 8

한 줄 요약

이 논문은 고차원 공간에서 확률 측도의 바리센터를 추정하기 위한 생성 모델링 접근법을 제안한다. 기존의 이산적 디라크 델타 대신 딥 생성 모델을 통해 바리센터를 매개변수화하여 차원의 극복 문제를 해결한다. 이 방법은 고차원 이미지 데이터(예: MNIST, CelebA)에서 스케일러블하고 구조 인식형 바리센터 추정을 가능하게 하며, 10⁴차원 이상의 차원에서 최대 10⁵개의 데이터 포인트를 처리할 수 있다. 이로써 최신 기술 수준의 성능을 달성하고, 불일치 함수에 대한 약한 매끄러움 조건 하에 국소 수렴 보장을 제공한다.

ABSTRACT

Barycentric averaging is a principled way of summarizing populations of measures. Existing algorithms for estimating barycenters typically parametrize them as weighted sums of Diracs and optimize their weights and/or locations. However, these approaches do not scale to high-dimensional settings due to the curse of dimensionality. In this paper, we propose a scalable and general algorithm for estimating barycenters of measures in high dimensions. The key idea is to turn the optimization over measures into an optimization over generative models, introducing inductive biases that allow the method to scale while still accurately estimating barycenters. We prove local convergence under mild assumptions on the discrepancy showing that the approach is well-posed. We demonstrate that our method is fast, achieves good performance on low-dimensional problems, and scales to high-dimensional settings. In particular, our approach is the first to be used to estimate barycenters in thousands of dimensions.

연구 동기 및 목표

• 기존의 디라크 기반 방법이 저차원 공간(R≤3)에 국한되는 차원의 극복 문제를 해결하기 위해 고차원 공간에서 바리센터 추정의 차원의 극복 문제를 해결한다.
• 이미지와 같은 고차원 데이터 공간(R>10,000 차원)에서 스케일러블한 바리센터 추정을 가능하게 한다. 기존 방법이 실패하는 영역이다.
• 생성 모델의 매개변수화를 통해 인도크티브 바이어스(예: CNN 아키텍처)를 바리센터 추정에 통합하여 샘플 품질과 수렴 속도를 향상시킨다.
• 불일치 함수에 대한 약한 가정 하에 제안된 최적화 프레임워크의 이론적 수렴 보장을 제공한다.
• 비가공적인 고차원 데이터셋(MNIST, CelebA 등)에서 제안된 방법의 효과성을 입증한다. 다양한 불일치 척도(MMD, SMMD, Sinkhorn)를 적용한다.

제안 방법

• 바리센터를 디라크 델타의 가중 평균이 아닌 생성 모델(예: 딥 컨볼루션 네트워크)의 출력으로 매개변수화하여, 모델 매개변수에 대한 최적화 문제로 문제를 전환한다.
• 생성된 측도와 목표 바리센터(입력 측도의 가중 평균으로 정의됨) 사이의 불일치 척도(예: MMD, Sinkhorn)를 최소화하도록 생성 모델의 매개변수를 최적화한다.
• 다양이 가능한 불일치 척도(MMD, 최적화된 MMD(SMMD), Sinkhorn)를 사용하여 고차원 공간에서 기울기 기반 최적화를 가능하게 한다.
• 생성자에 구조적 인도크티브 바이어스(예: 컨볼루션 레이어)를 통합하여 전반적인 구조를 강제하고 일반화 및 샘플 품질을 향상시킨다.
• 불일치 함수가 리프시츠 연속성 또는 약한 볼록성과 리프시츠 연속성을 만족하는 약한 조건 하에 국소 수렴을 정립한다.
• 기능적 기울기 강하와 딥 커널 방법을 활용하여 대규모 이미지 데이터셋에서 고차원 지지 집합에서 스케일러블한 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성 모델 매개변수화가 고차원 측도에서 바리센터 추정의 차원의 극복 문제를 효과적으로 회피할 수 있는가?
• RQ2 인도크티브 바이어스(예: CNN)를 통합함으로써 이미지 공간에서 바리센터 추정의 품질과 스케일러비리티는 어떻게 향상되는가?
• RQ3 제안된 방법은 일반적인 불일치 함수에 대해 국소 수렴을 달성하는가? 그리고 필요한 최소한의 가정은 무엇인가?
• RQ4 이 방법은 10⁴차원 이상, 10⁵개 이상의 데이터 포인트를 포함하는 비가공적인 고차원 데이터셋(MNIST, CelebA 등)에 스케일링 가능한가?
• RQ5 이미지 데이터에서 MMD, SMMD, Sinkhorn 불일치 척도로 계산된 바리센터는 행동과 시각적 품질 측면에서 어떻게 다를까?

주요 결과

• 이 방법은 10⁴차원 이상, 10⁵개 이상의 데이터 포인트를 포함하는 고차원 이미지 데이터(MNIST, CelebA 등)에서 바리센터를 성공적으로 계산하며, 이전까지는 달성되지 않았던 스케일에서 최신 기술 수준의 성능을 달성한다.
• SMMD 바리센터는 의미 있는 다양성 있는 샘플을 생성하며, 클래스 간 특징을 평균화하는 방식으로 작동한다(예: MNIST의 모든 숫자). 이는 보간이 아닌 혼합 유사 행동을 보인다.
• 남성과 여성 얼굴의 CelebA 바리센터는 특징을 효과적으로 융합한 고품질의 현실적인 이미지를 생성하여 고차원 지지 집합을 넘어서 효과적인 일반화를 보여준다.
• 불일치 함수가 리프시츠 연속성 또는 약한 볼록성과 리프시츠 연속성을 만족하는 경우, 국소 수렴이 보장되며, 이는 Sinkhorn과 딥 커널을 사용한 MMD를 포함한다.
• CNN 기반 생성자 도입은 고차원에서 특히 효과적이며, 비정형적이고 局소적 매개변수화 대비 샘플 품질 향상과 수렴 속도 향상을 크게 개선한다.
• 이 방법은 GAN을 일반화하여 다수의 분포(P>1)에 대한 목적 함수를 확장하고, 다양한 불일치 선택을 허용함으로써 측도 간의 구조적인 평균화를 가능하게 한다.