[论文解读] Dimensionality Reduction for Wasserstein Barycenter

Zachary Izzo, Sandeep Silwal+1 more|arXiv (Cornell University)|Oct 18, 2021

Topological and Geometric Data Analysis参考文献 14被引用 5

一句话总结

本文提出了一种用于Wasserstein中位数问题的降维技术，通过将高维概率分布投影到大小为$O(\log n)$的低维空间，其中$n$是中位数的支撑集大小，从而在保持中位数代价至任意误差范围内。该方法利用随机投影和Kirszbraun定理，实现了与原始维度$d$和分布数量$k$无关的最优降维边界，从而在不损失解质量的前提下实现更快的计算。

ABSTRACT

The Wasserstein barycenter is a geometric construct which captures the notion of centrality among probability distributions, and which has found many applications in machine learning. However, most algorithms for finding even an approximate barycenter suffer an exponential dependence on the dimension $d$ of the underlying space of the distributions. In order to cope with this "curse of dimensionality," we study dimensionality reduction techniques for the Wasserstein barycenter problem. When the barycenter is restricted to support of size $n$, we show that randomized dimensionality reduction can be used to map the problem to a space of dimension $O(\log n)$ independent of both $d$ and $k$, and that \emph{any} solution found in the reduced dimension will have its cost preserved up to arbitrary small error in the original space. We provide matching upper and lower bounds on the size of the reduced dimension, showing that our methods are optimal up to constant factors. We also provide a coreset construction for the Wasserstein barycenter problem that significantly decreases the number of input distributions. The coresets can be used in conjunction with random projections and thus further improve computation time. Lastly, our experimental results validate the speedup provided by dimensionality reduction while maintaining solution quality.

研究动机与目标

• 为解决Wasserstein中位数计算中的维数灾难问题，该问题对维度$d$存在指数依赖。
• 开发一种降维方法，以在一般$L_p$目标下保持中位数代价。
• 实现与$d$和$k$无关的降维边界，优于经典的Johnson-Lindenstrauss边界。
• 通过提供减少维度大小的匹配上下界，提供理论保证。
• 将coreset构造与降维结合，以进一步加速计算。

提出的方法

• 通过随机投影矩阵将输入分布的$d$维支撑点映射到$O(\log n)$维空间。
• 利用Kirszbraun定理确保在投影后，$L_p$目标下的Wasserstein距离代价得以保持。
• 证明任何在$n$个点上支撑的中位数都可在$O(\log n)$维空间中计算，且代价保持至任意误差范围内。
• 构建一个大小为$O(n \log n)$的coreset，以减少输入分布的数量，同时保持中位数质量。
• 将随机投影与coreset构造相结合，以进一步加速现有的中位数算法。

实验结果

研究问题

• RQ1 是否可以使用降维技术在保持解质量的同时降低Wasserstein中位数计算的计算成本？
• RQ2 在与原始维度$d$和分布数量$k$无关的前提下，保持$L_p$-Wasserstein中位数代价所需的最小维度是多少？
• RQ3 对于Wasserstein中位数计算的特定情况，能否改进经典的Johnson-Lindenstrauss引理？
• RQ4 如何将coreset与降维结合以进一步加速中位数计算？
• RQ5 所提出的降维边界在常数因子范围内是否紧致？

主要发现

• 本文证明了$O(\log n)$维足以在与$d$和$k$无关的前提下保持任意支撑集大小为$n$的中位数代价。
• 降维边界的最优性通过提供匹配的下界得到证明，即该边界在常数因子范围内是紧致的。
• 通过Kirszbraun定理，该方法在随机投影下仍能保持$L_p$-Wasserstein中位数目标的代价，即使$p \neq 2$。
• 构建了一个大小为$O(n \log n)$的coreset，可在保持中位数质量的同时减少输入分布的数量。
• 实验结果证实，该方法在解质量损失极小的情况下实现了显著的加速。