[논문 리뷰] Learning Wasserstein Embeddings

Nicolas Courty, Rémi Flamary외 1명|arXiv (Cornell University)|2017. 10. 20.

Advanced Neural Network Applications참고 문헌 34인용 수 9

한 줄 요약

이 논문은 확률 분포를 유클리드 공간에 임bedding하여 유클리드 거리가 워샤르 거리에 근접하도록 하는 딥러닝 프레임워크를 제안한다. 이는 워샤르 기반 연산(예: 바리센터, 보간)을 빠르게 계산할 수 있게 해주며, 실시간 추론(1회 보간당 4ms)을 달성하면서 정확도 손실를 최소화한다. 시아미즈 오토에인코더 아키텍처를 사용하여 정확한 최적 운반 솔루션과 비교해도 최소한의 정확도 손실을 기록한다.

ABSTRACT

The Wasserstein distance received a lot of attention recently in the community of machine learning, especially for its principled way of comparing distributions. It has found numerous applications in several hard problems, such as domain adaptation, dimensionality reduction or generative models. However, its use is still limited by a heavy computational cost. Our goal is to alleviate this problem by providing an approximation mechanism that allows to break its inherent complexity. It relies on the search of an embedding where the Euclidean distance mimics the Wasserstein distance. We show that such an embedding can be found with a siamese architecture associated with a decoder network that allows to move from the embedding space back to the original input space. Once this embedding has been found, computing optimization problems in the Wasserstein space (e.g. barycenters, principal directions or even archetypes) can be conducted extremely fast. Numerical experiments supporting this idea are conducted on image datasets, and show the wide potential benefits of our method.

연구 동기 및 목표

• 대규모 머신러닝 응용 분야에서 워샤르 거리 계산의 높은 계산 비용을 해결하기 위해.
• 바리센터, 지오데식선, 보간과 같은 워샤르 기반 연산의 빠른 근사치를 가능하게 하기 위해.
• 유클리드 거리가 확률 측도 간의 워샤르 거리에 대응하는 유클리드 임베딩을 학습하기 위해.
• 임베딩과 그 역함수를 동시에 학습하여 임베딩 공간에서의 분포 재구성 능력을 향상시키기 위해.
• 다양한 데이터 복잡도를 가진 서로 다른 데이터셋 간에 학습된 임베딩의 이식 가능성 평가하기 위해.

제안 방법

• 워샤르 거리와 유사한 유클리드 거리를 유지하도록, 확률 분포를 저차원 유클리드 공간으로 매핑하는 시아미즈 신경망 아키텍처를 학습한다.
• 입력 분포를 임베딩 표현에서 재구성하기 위한 별도의 디코더 네트워크를 학습하여 역매핑을 가능하게 한다.
• 작은 워샤르 거리 간의 작은 유클리드 거리를 유도하는 대조 손실을 사용하여 모델을 학습한다.
• 임베딩과 재구성의 엔드 투 엔드 학습을 지원하여 임베딩 공간에서의 효율적 추론을 가능하게 한다.
• 정확한 워샤르 거리를 POT 도구상자로 계산한 MNIST 및 3개의 도어들 데이터셋(Cat, Crab, Faces)을 사용하여 방법을 평가한다.
• 워샤르 보간 및 바리센터 계산은 임베딩 공간에서 수행되며, 정확한 선형계획법 및 정규화된 최적 운반 솔루션과 비교한다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 유클리드 거리가 원래 분포 간의 워샤르 거리에 근접하도록 하는 유클리드 임베딩을 학습할 수 있는가?
• RQ2 학습된 임베딩이 복잡하고 다양한 분포를 가진 데이터에 대해 워샤르 공간의 기하학적 구조를 얼마나 잘 유지하는가?
• RQ3 한 데이터셋에서 학습된 임베딩이 데이터 특성이 다른 다른 데이터셋으로 이식 가능한가?
• RQ4 제안된 방법의 계산 효율성은 정확한 최적 운반 해법 및 정규화된 OT 방법과 비교해 어떻게 되는가?
• RQ5 임베딩과 그 역함수의 동시 학습이 임베딩 공간에서 입력 분포의 정확한 재구성 가능성을 높이는가?

주요 결과

• 제안된 방법은 정확한 선형계획법 솔버를 사용할 경우 20초가 걸리는 데 비해, 워샤르 보간에 대해 실시간 추론(1회 보간당 4ms)을 달성한다.
• MNIST 데이터셋에서 학습된 임베딩은 워샤르 거리 재구성에 평균 제곱오차(MSE) 0.405를 기록하여 높은 정밀도를 보였다.
• 다른 데이터셋 간 성능 평가에서는 중간 정도의 정확도 저하가 발생했지만(예: 도어로 학습된 모델을 사용할 경우 MNIST에서 MSE ~10–50), 유사한 데이터 도메인에서는 안정적인 성능 유지를 보였다.
• 모델은 정밀한 세부 사항의 손실이 있음에도 불구하고, 최적 운반 행동을 반영하는 매끄럽고 연속적인 보간을 생성했다.
• 정규화된 최적 운반(Bregman 투영)은 정확한 LP보다 빠르지만 더 흐릿한 경향이 있었고, DWE 방법은 속도와 시각적 타당성 사이의 균형을 잘 이루었다.
• 이 프레임워크는 직접 워샤르 최적화를 사용할 경우보다 계산 비용을 크게 줄여 워샤르 바리센터 및 주성분 방향의 빠른 계산을 가능하게 하였다.