[论文解读] Distance Measure Machines

Alain Rakotomamonjy, Abraham Traoré+3 more|arXiv (Cornell University)|Mar 1, 2018

Face and Expression Recognition参考文献 29被引用 4

一句话总结

本文提出了距离度量机器（DMM），一种通过将概率分布嵌入到参考模板的成对差异性中来学习区分概率分布的框架。该文证明了经验 Wasserstein 距离可实现高概率、低误差的线性分类，在合成任务和真实世界任务中均优于核均值嵌入和基于 MMD 的方法。

ABSTRACT

This paper presents a distance-based discriminative framework for learning with probability distributions. Instead of using kernel mean embeddings or generalized radial basis kernels, we introduce embeddings based on dissimilarity of distributions to some reference distributions denoted as templates. Our framework extends the theory of similarity of Balcan et al. (2008) to the population distribution case and we show that, for some learning problems, some dissimilarity on distribution achieves low-error linear decision functions with high probability. Our key result is to prove that the theory also holds for empirical distributions. Algorithmically, the proposed approach consists in computing a mapping based on pairwise dissimilarity where learning a linear decision function is amenable. Our experimental results show that the Wasserstein distance embedding performs better than kernel mean embeddings and computing Wasserstein distance is far more tractable than estimating pairwise Kullback-Leibler divergence of empirical distributions.

研究动机与目标

• 解決從概率分佈而非固定維度特徵向量學習的挑戰。
• 通過直接使用如 Wasserstein 距離之類的相異度度量，克服基於核方法的限制。
• 建立理論保證，證明經驗相異度嵌入可產生高概率的低誤差線性分類器。
• 通過實驗證明，基於 Wasserstein 的嵌入在分佈分類中優於 MMD 和核均值嵌入。
• 將 Balcan 等人（2008）的相似度框架擴展至使用收斂相異度函數的經驗分佈。

提出的方法

• 將每個經驗分佈嵌入為與一組參考模板（分佈）之間的成對相異度向量。
• 使用 Wasserstein 距離作為分佈之間的相異度度量，利用其優良的收斂性質。
• 在嵌入的相異度空間中應用線性分類，實現高效且可擴展的學習。
• 理論分析表明，只要有足夠的樣本和模板，經驗嵌入可保持區分能力。
• 證明 Bures-Wasserstein 度量也滿足理論保證所需的收斂條件。
• 使用非參數估計 Wasserstein 距離，以避免參數假設常見的模型誤設。

实验结果

研究问题

• RQ1 基於相異度的經驗分佈嵌入能否在高概率下實現低誤差線性分類？
• RQ2 Wasserstein 距離是否在分佈分類中比核均值嵌入提供更有效的嵌入？
• RQ3 Balcan 等人（2008）的理論框架能否透過使用收斂相異度度量擴展至經驗分佈？
• RQ4 模板數量如何影響分類器的可分離性與性能？
• RQ5 Bures-Wasserstein 度量是否在理論保證與實驗性能上與標準 Wasserstein 距離相當？

主要发现

• 所提出的基於 Wasserstein 的距離度量機器（WDMM）在合成實驗中於廣泛的維度範圍內達到 90% 的分類準確率，優於 MMD 方法（其準確率低於 70% 便停滯）。
• 在 3D 點雲分類任務（ModelNet10）中，WDMM 使用線性分類達到 97.30% 的測試準確率，顯著優於基於 MMD 的方法。
• 由於點雲不適合高斯假設，Bures-Wasserstein 度量在 3D 點雲上表現較差。
• WDMM 使用非參數距離估計在自然場景分類任務中達到 95.52% 的準確率，優於 MMD 和基於核的方法。
• 理論分析確認，經驗 Wasserstein 距離滿足維持高概率低誤差線性分類所需的收斂性質。
• 使用 90 個模板的相異度嵌入比使用 10 或 45 個模板具有更好的可分離性，證實了增加模板覆蓋範圍的優勢。