[논문 리뷰] Tree-Sliced Variants of Wasserstein Distances

Tam Le, Makoto Yamada외 2명|arXiv (Cornell University)|2019. 02. 01.

3D Shape Modeling and Analysis참고 문헌 59인용 수 3

한 줄 요약

이 논문은 최적 운반 이론의 새로운 변종인 트리-슬라이스드 워셔스타인 거리(wasserstein distance)를 소개한다. 이 방법은 랜덤 트리 거리(metric)를 활용하여 워셔스타인 거리를 빠르고 닫힌 형태로 계산할 수 있도록 한다. 저차원 또는 고차원 공간에서 다수의 적응형 트리 구조를 통해 트리-워셔스타인 거리를 평균화함으로써, 계산 효율성을 확보하면서도 통계적 성질, 특히 음의 정부정성(negative definiteness)을 유지한다. 이 성질은 후속 기계학습 작업에 사용할 수 있는 양의 정부정(kernel)을 구성하는 데 기여하며, 강력한 경험적 성능을 보인다.

ABSTRACT

Optimal transport (\OT) theory defines a powerful set of tools to compare probability distributions. \OT~suffers however from a few drawbacks, computational and statistical, which have encouraged the proposal of several regularized variants of OT in the recent literature, one of the most notable being the extit{sliced} formulation, which exploits the closed-form formula between univariate distributions by projecting high-dimensional measures onto random lines. We consider in this work a more general family of ground metrics, namely extit{tree metrics}, which also yield fast closed-form computations and negative definite, and of which the sliced-Wasserstein distance is a particular case (the tree is a chain). We propose the tree-sliced Wasserstein distance, computed by averaging the Wasserstein distance between these measures using random tree metrics, built adaptively in either low or high-dimensional spaces. Exploiting the negative definiteness of that distance, we also propose a positive definite kernel, and test it against other baselines on a few benchmark tasks.

연구 동기 및 목표

• 고차원 공간에서 최적 운반 이론(OT)의 높은 계산 비용을 해결하기 위해 빠르고 확장 가능한 대체 방법을 제안한다.
• 선형 투영을 트리 구조적 거리로 대체함으로써 슬라이스드-워셔스타인 거리의 일반화를 도모하여 더 유연하고 적응 가능한 기하학을 가능하게 한다.
• 트리-워셔스타인 거리의 음의 정부정성을 활용하여 기계학습 기반 커널 방법에 사용할 수 있는 양의 정부정 커널을 구성한다.
• 제안된 방법을 워드 임베딩 기반 문서 분류 및 위상적 데이터 분석을 포함한 벤치마크 작업에 적용하여 경험적 우월성을 입증한다.

제안 방법

• 공간 데이터 구조에서 유도된 랜덤으로 샘플된 트리 거리를 기반으로 다수의 트리-워셔스타인(TW) 거리를 계산한 후 평균을 취함으로써 트리-슬라이스드 워셔스타인 거리를 제안한다.
• 계층적 클러스터링 또는 공간을 메우는 곡선(Hilbert 곡선 등)을 사용하여 저차원 또는 고차원 공간에서 데이터를 적응적으로 분할하는 트리 거리를 구성한다.
• 트리 거리 위에서 워셔스타인 거리의 닫힌 형태 해법을 사용하여 전체 최적 운반 문제를 풀지 않고도 효율적인 계산을 가능하게 한다.
• 트리-워셔스타인 거리의 음의 정부정성을 활용하여 지수 변환(exponential transform)을 통해 양의 정부정 커널을 유도한다. 이는 커널 기반 기계학습 방법의 적용을 가능하게 한다.
• 데이터 포인트 또는 그들의 공간 영역에서 트리 구조를 구축하기 위해 재귀적 분할 알고리즘(예: Partition_HC)을 사용하며, 빈 하위 영역은 기각한다.
• 이론적으로 최적 운반 이론의 쌍대성과 거리 기하학에 기반하여 이 방법을 이산 및 연속 분포에 모두 적용한다.

실험 결과

연구 질문

• RQ1 트리 거리가 최적 운반 이론에서 표준 기준 거리(metric)의 계산 효율적인 대체로 활용될 수 있는가?
• RQ2 다양한 랜덤 트리에 대해 트리-워셔스타인 거리를 평균화하면 확률 측도 간의 안정적이고 정보적인 발산을 도출할 수 있는가?
• RQ3 트리-워셔스타인 거리의 음의 정부정성을 활용하여 커널 기반 학습에 사용할 수 있는 양의 정부정 커널을 구성할 수 있는가?
• RQ4 트리-슬라이스드 워셔스타인 거리는 기존 기준인 슬라이스드-워셔스타인 및 표준 OT와 비교해 후속 기계학습 작업에서 어떻게 성능을 냈는가?

주요 결과

• 트리-슬라이스드 워셔스타인 거리는 표준 OT에 비해 빠른 속도 향상을 이끌었으며, 벤치마크 데이터셋에서 경쟁적인 성능을 유지한다.
• 워드 임베딩 기반 문서 분류 작업에서 슬라이스드-워셔스타인 및 표준 OT를 포함한 기존 기준보다 우수한 성능을 기록한다.
• 제안된 트리-슬라이스드 거리 기반 양의 정부정 커널은 위상적 데이터 분석, 특히 지속성 다이어그램 분류에서 최신 기술 수준의 성능을 달성한다.
• 다수의 랜덤 트리 구조를 평균화함으로써 계층적 클러스터링 및 분할에서 흔히 발생하는 군집 민감도 및 양자화 문제를 완화한다.
• 이론적 분석을 통해 트리-워셔스타인 거리가 음의 정부정임을 확인하였으며, 이는 지수 변환을 통한 타당한 양의 정부정 커널 구성이 가능함을 뒷받침한다.