[논문 리뷰] Approximating 1-Wasserstein Distance with Trees

Makoto Yamada, Yuki Takezawa외 4명|arXiv (Cornell University)|2022. 06. 24.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 1-Wasserstein 거리(1-WD)를 선형 시간 복잡도로 근사하기 위해 나무 구조의 임베딩에서 최적의 간선 가중치를 학습하기 위한 라소 기반 방법을 제안한다. 고정된 나무 구조에서 최단경로 거리를 선형 모델로 표현하고, 비음수 라소 문제를 해결함으로써, 정확한 1-WD에 대한 매우 정확한 근사치를 도출한다. 이는 기존의 QuadTree 및 ClusterTree와 비교해도 MAE와 상관관계 측면에서 뛰어난 성능을 보이며, L1 정규화를 통해 희소성도 달성한다.

ABSTRACT

Wasserstein distance, which measures the discrepancy between distributions, shows efficacy in various types of natural language processing (NLP) and computer vision (CV) applications. One of the challenges in estimating Wasserstein distance is that it is computationally expensive and does not scale well for many distribution comparison tasks. In this paper, we aim to approximate the 1-Wasserstein distance by the tree-Wasserstein distance (TWD), where TWD is a 1-Wasserstein distance with tree-based embedding and can be computed in linear time with respect to the number of nodes on a tree. More specifically, we propose a simple yet efficient L1-regularized approach to learning the weights of the edges in a tree. To this end, we first show that the 1-Wasserstein approximation problem can be formulated as a distance approximation problem using the shortest path distance on a tree. We then show that the shortest path distance can be represented by a linear model and can be formulated as a Lasso-based regression problem. Owing to the convex formulation, we can obtain a globally optimal solution efficiently. Moreover, we propose a tree-sliced variant of these methods. Through experiments, we demonstrated that the weighted TWD can accurately approximate the original 1-Wasserstein distance.

연구 동기 및 목표

• NLP 및 컴퓨터 비전 응용 분야에서 정확한 1-Wasserstein 거리 추정의 높은 계산 비용을 해결하기 위해.
• 서브옵티멀한 나무 구조로 인해 높은 근사 오차를 겪는 나무 기반 워셔스타인 근사의 정확도를 향상시키기 위해.
• 나무에서 최적의 간선 가중치를 학습하기 위한 미분 가능하고 볼록 최적화 프레임워크를 개발하기 위해.
• 성능 향상과 강건성을 높이기 위해 나무 슬라이스드 변형으로의 확장을 위해.
• L1 정규화를 통한 가중치 학습이 정확도 유지와 함께 모델 압축을 가능하게 함을 보여주기 위해.

제안 방법

• 고정된 나무 구조에서 최단경로 거리 근사를 1-Wasserstein 거리 근사 문제로 재구성한다.
• 최단경로 거리를 간선 가중치의 선형 모델로 표현함으로써, 회귀 기반 최적화를 가능하게 한다.
• 간선 가중치 학습 문제를 비음수 라소 기반 최적화 문제로 재구성하여 볼록성과 전역 최적성 보장을 확보한다.
• 기존의 라소 솔버(예: SPAMS)를 사용해 전역적으로 최적의 간선 가중치를 효율적으로 계산한다.
• 다양한 무작위 나무 투영의 평균을 취해 나무 슬라이스드 변형을 제안함으로써, 계산 비용을 증가시키지 않고도 상관관계를 향상시킨다.
• L1 정규화를 적용해 중요하지 않은 간선을 제거함으로써, 성능 손실를 최소화하면서도 압축되고 희소한 나무 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 라소 학습 기반 볼록 최적화 프레임워크가 나무 기반 1-Wasserstein 거리 근사의 정확도를 향상시킬 수 있는가?
• RQ2 제안된 방법은 QuadTree 및 ClusterTree와 같은 표준 나무 구조와 비교해 정확한 1-WD를 얼마나 잘 근사하는가?
• RQ3 나무 슬라이스드 변형은 정확도 향상에 얼마나 기여하는가, 특히 정확한 1-WD와의 상관관계 측면에서 어떻게 성능을 향상시키는가?
• RQ4 L1 정규화가 정확도 유지와 함께 나무를 효과적으로 압축할 수 있는가?
• RQ5 학습 샘플 수가 증가함에 따라 성능이 유리하게 확장되는가?

주요 결과

• 제안된 qTWD 및 cTWD 방법은 모든 데이터셋에서 QuadTree 및 ClusterTree보다 유의미하게 낮은 평균 절대 오차(MAE)를 기록했으며, MAE 값이 QuadTree보다 한 계단 낮았다.
• Amazon 데이터셋에서 λ=10⁻¹일 때 Sliced-cTWD는 단지 29,540개의 노드로 PCC 0.870을 달성했고, cTWD(32,642.3개의 노드, PCC=0.785)를 뛰어넘었다.
• λ=10⁻¹(노드의 10%)일 때조차도 qTWD 및 cTWD는 전체 QuadTree 및 ClusterTree와 유사한 높은 PCC 값을 유지했다.
• L1 정규화를 통해 비영인 간선 가중치의 수가 극적으로 감소했으며, 성능 저하 없이 효과적인 희소성 구현을 보여주었다.
• 학습 샘플 수를 늘릴수록 PCC가 향상되었고, 100,000개의 샘플에서 수렴이 관찰되었으며, 작은 학습 세트에서도 MAE는 낮게 유지되었다.
• 제안된 방법은 비슬라이스드 및 슬라이스드 기반 방법 모두에서 MAE와 PCC 측면에서 뛰어난 성능을 보이며, 정확한 1-Wasserstein 거리 근사에서 일관된 우수성을 입증했다.