[论文解读] Approximating 1-Wasserstein Distance with Trees

Makoto Yamada, Yuki Takezawa+4 more|arXiv (Cornell University)|Jun 24, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出一种基于Lasso的方法，用于在树形结构嵌入中学习最优边权重，以实现1- Wasserstein距离（WD）的线性时间复杂度近似。通过将基于树的最短路径距离建模为线性模型，并求解非负Lasso问题，该方法实现了对精确1-WD的高度准确近似——在MAE和相关性方面均优于QuadTree和ClusterTree等基线树结构，同时通过L1正则化实现稀疏性。

ABSTRACT

Wasserstein distance, which measures the discrepancy between distributions, shows efficacy in various types of natural language processing (NLP) and computer vision (CV) applications. One of the challenges in estimating Wasserstein distance is that it is computationally expensive and does not scale well for many distribution comparison tasks. In this paper, we aim to approximate the 1-Wasserstein distance by the tree-Wasserstein distance (TWD), where TWD is a 1-Wasserstein distance with tree-based embedding and can be computed in linear time with respect to the number of nodes on a tree. More specifically, we propose a simple yet efficient L1-regularized approach to learning the weights of the edges in a tree. To this end, we first show that the 1-Wasserstein approximation problem can be formulated as a distance approximation problem using the shortest path distance on a tree. We then show that the shortest path distance can be represented by a linear model and can be formulated as a Lasso-based regression problem. Owing to the convex formulation, we can obtain a globally optimal solution efficiently. Moreover, we propose a tree-sliced variant of these methods. Through experiments, we demonstrated that the weighted TWD can accurately approximate the original 1-Wasserstein distance.

研究动机与目标

• 解决在自然语言处理和计算机视觉应用中精确1-Wasserstein距离估计的高计算成本问题。
• 提升基于树的Wasserstein近似方法的准确性，此类方法常因树结构次优而导致高近似误差。
• 开发一种可微分、凸优化框架，用于学习树中最佳边权重，以更优地近似1-WD。
• 将方法扩展至树切片变体，以提升性能和鲁棒性。
• 证明L1正则化权重学习可在保持高精度的同时实现模型压缩。

提出的方法

• 将1-Wasserstein距离近似问题表述为固定树结构上的最短路径距离近似问题。
• 将最短路径距离表示为边权重的线性模型，从而支持基于回归的优化。
• 将边权重学习表述为基于非负Lasso的优化问题，以确保凸性与全局最优性。
• 使用现成的Lasso求解器（如SPAMS）高效计算全局最优边权重。
• 通过平均多个随机树投影提出一种树切片变体，提升相关性，且不增加计算成本。
• 应用L1正则化以剪枝不重要的边，实现紧凑、稀疏的树表示，同时性能损失极小。

实验结果

研究问题

• RQ1 基于Lasso学习的凸优化框架能否提升基于树的1-Wasserstein距离近似方法的准确性？
• RQ2 所提方法在近似精确1-WD方面与QuadTree和ClusterTree等标准树结构相比表现如何？
• RQ3 树切片变体在性能提升方面达到何种程度，特别是在与真实1-WD的相关性方面？
• RQ4 L1正则化能否有效压缩树结构，同时保持近似准确性？
• RQ5 随着训练样本数量的增加，该方法的性能是否表现出有利的可扩展性？

主要发现

• 所提出的qTWD和cTWD方法在所有数据集上均显著降低了平均绝对误差（MAE），其MAE值比QuadTree小一个数量级。
• 在Amazon数据集上，Sliced-cTWD在λ=10⁻¹时仅使用29,540个节点即达到PCC=0.870，优于cTWD（PCC=0.785，使用32,642.3个节点）。
• 即使在λ=10⁻¹（仅保留10%节点）时，qTWD和cTWD仍保持与完整QuadTree和ClusterTree相当的高PCC值。
• 通过L1正则化，非零树权重数量大幅减少，证明了在不损失性能的前提下实现了有效稀疏性。
• 随着训练样本数量的增加，PCC提升，且在100,000个样本时达到收敛，而MAE在较小训练集上也保持较低水平。
• 所提方法在MAE和PCC方面均优于非切片和切片基线方法，表明其在近似精确1-Wasserstein距离方面具有持续优势。