[论文解读] Relaxed Earth Mover's Distances for Chain- and Tree-connected Spaces and their use as a Loss Function in Deep Learning

Manuel Martínez, Monica-Laura Haurilet+3 more|arXiv (Cornell University)|Nov 22, 2016

Advanced Image and Video Retrieval Techniques参考文献 28被引用 4

一句话总结

本文提出了一种放松的、数值稳定的地球移动距离损失（EMD²），适用于链式和树状结构的输出空间，通过闭式解实现高效的梯度计算。在低数据设置下，其性能优于交叉熵和Sinkhorn距离，在仅使用50,000张图像的ImageNet上实现了更高的Top-1准确率，更好地利用了层次化输出结构。

ABSTRACT

The Earth Mover's Distance (EMD) computes the optimal cost of transforming one distribution into another, given a known transport metric between them. In deep learning, the EMD loss allows us to embed information during training about the output space structure like hierarchical or semantic relations. This helps in achieving better output smoothness and generalization. However EMD is computationally expensive.Moreover, solving EMD optimization problems usually require complex techniques like lasso. These properties limit the applicability of EMD-based approaches in large scale machine learning. We address in this work the difficulties facing incorporation of EMD-based loss in deep learning frameworks. Additionally, we provide insight and novel solutions on how to integrate such loss function in training deep neural networks. Specifically, we make three main contributions: (i) we provide an in-depth analysis of the fastest state-of-the-art EMD algorithm (Sinkhorn Distance) and discuss its limitations in deep learning scenarios. (ii) we derive fast and numerically stable closed-form solutions for the EMD gradient in output spaces with chain- and tree- connectivity; and (iii) we propose a relaxed form of the EMD gradient with equivalent computational complexity but faster convergence rate. We support our claims with experiments on real datasets. In a restricted data setting on the ImageNet dataset, we train a model to classify 1000 categories using 50K images, and demonstrate that our relaxed EMD loss achieves better Top-1 accuracy than the cross entropy loss. Overall, we show that our relaxed EMD loss criterion is a powerful asset for deep learning in the small data regime.

研究动机与目标

• 为解决深度学习中Sinkhorn距离（SD）因ℓ₁行为和单精度浮点数精度限制导致的计算与数值不稳定性问题。
• 推导链式和树状连接输出空间中地球移动距离（EMD）梯度的闭式解，以实现高效的反向传播。
• 提出EMD²，一种具有ℓ₂行为的放松版EMD变体，相比ℓ₁-based的SD具有更快的收敛速度和更高的数值稳定性。
• 评估EMD²作为损失函数在低数据深度学习设置下的有效性，特别是在层次分类任务中。
• 证明通过EMD²建模输出空间结构可提升泛化能力与Top-1准确率，尤其在训练数据有限时。

提出的方法

• 利用动态规划或递归分解，为链式连接输出空间（如直方图）中的EMD梯度推导出闭式解。
• 通过利用树结构和流量守恒，将闭式梯度推导扩展至树状连接输出空间（如WordNet、ImageNet层次结构）。
• 提出EMD²作为EMD的放松版本，采用ℓ₂正则化，相比ℓ₁-based的SD，收敛更快且数值更稳定。
• 在反向传播中使用EMD²的解析梯度，避免迭代求解器，实现在深度神经网络中的端到端训练。
• 采用层次化输出空间表示（如WordNet）来编码图像分类中类别之间的语义关系。
• 将EMD²与交叉熵损失以1:1比例结合，以平衡快速收敛与整体输出空间优化。

实验结果

研究问题

• RQ1 能否在链式和树状连接的输出空间中推导出EMD的闭式梯度，以实现高效的深度学习训练？
• RQ2 与ℓ₁-based的Sinkhorn距离相比，具有ℓ₂行为的放松版EMD变体（EMD²）是否能提升收敛速度和数值稳定性？
• RQ3 在低数据设置下，通过EMD²整合层次化输出结构是否能带来更好的泛化能力和更高的Top-1准确率，相比标准交叉熵损失？
• RQ4 在大规模层次分类任务中，EMD²与联合损失策略（如SD + CE）相比，在稳定性和性能方面表现如何？
• RQ5 在使用float32精度的深度学习中，Sinkhorn距离出现数值不稳定的根源原因是什么？

主要发现

• 在仅使用50,000张训练图像（全集的4%）的ImageNet数据集上，EMD²的Top-1准确率高于交叉熵损失，证明其在低数据设置下具有更好的泛化能力。
• EMD²与交叉熵损失（1:1）结合实现了最快收敛和最高Top-1准确率，优于单一损失及SD+CE组合。
• 在具有链式连接输出的呼吸信号PSD预测任务中，EMD²表现出更快收敛速度和更低误差，证实其在结构化预测中的高效性。
• Sinkhorn距离（SD）在float32精度下表现出数值不稳定性，尤其在大输出空间中，尽管其广受欢迎，但限制了其在深度学习中的实际应用。
• EMD²损失整体优化输出向量，促进了对层次关系的更好学习，即使Top-1准确率提升速度慢于交叉熵。
• 在全数据设置下（128万张图像），EMD²未超越交叉熵，证实仅当数据稀缺且泛化能力关键时，层次结构才具有优势。