[论文解读] Gini-regularized Optimal Transport with an Application to Spatio-Temporal Forecasting

Lucas Roberts, Leo Razoumov+2 more|arXiv (Cornell University)|Dec 7, 2017

Risk and Portfolio Optimization参考文献 16被引用 7

一句话总结

本文提出了一种基于基尼不纯度函数作为正则化项的基尼正则化最优传输（GOT）框架，用于评估时空预测。该方法通过引入基尼不纯度作为正则化项，相较于熵正则化，能够实现更快的收敛速度和更高的数值稳定性。该方法在较小的正则化参数下实现更高精度，并消除了手动调参的需要。

ABSTRACT

Rapidly growing product lines and services require a finer-granularity forecast that considers geographic locales. However the open question remains, how to assess the quality of a spatio-temporal forecast? In this manuscript we introduce a metric to evaluate spatio-temporal forecasts. This metric is based on an Opti- mal Transport (OT) problem. The metric we propose is a constrained OT objec- tive function using the Gini impurity function as a regularizer. We demonstrate through computer experiments both the qualitative and the quantitative charac- teristics of the Gini regularized OT problem. Moreover, we show that the Gini regularized OT problem converges to the classical OT problem, when the Gini regularized problem is considered as a function of λ, the regularization parame-ter. The convergence to the classical OT solution is faster than the state-of-the-art Entropic-regularized OT[Cuturi, 2013] and results in a numerically more stable algorithm.

研究动机与目标

• 为解决时空预测评估这一开放性问题，提出一种基于最优传输的地理一致度量标准。
• 改善最优传输计算中的数值稳定性和收敛速度，尤其在小正则化参数条件下。
• 提出一种新颖的正则化项——基于决策树文献的基尼不纯度，作为熵正则化的替代方案。
• 通过实证结果证明，基尼正则化最优传输比熵正则化最优传输更快收敛至经典最优传输解。
• 提供一种实用且鲁棒的评估准则，用于局部预测，同时尊重空间配置与分布结构。

提出的方法

• 采用基尼不纯度函数作为凸正则化项，构建正则化最优传输问题，以稳定并加速收敛。
• 使用一阶方法（如条件梯度法和镜像下降法）求解优化问题，并与CVXPY和稳定化Sinkhorn算法进行比较。
• 基于测地距离或欧氏距离构建基线度量，以建模预测与实际需求分布之间的空间关系。
• 利用基尼正则化项惩罚不均衡或不规则的传输方案，偏好更具有空间一致性和稳定性的解。
• 将基尼正则化最优传输解与精确线性规划（LP）解以及熵正则化最优传输解在多种合成分布（正态、均匀、logit-正态）上进行比较。
• 将该框架应用于评估州级局部预测，通过计算预测销售分布与模拟销售分布之间的运输成本。

实验结果

研究问题

• RQ1 基尼不纯度函数能否在时空预测的最优传输问题中作为有效的正则化项？
• RQ2 随着正则化参数λ的变化，基尼正则化最优传输的收敛速度与熵正则化最优传输相比如何？
• RQ3 与熵正则化相比，基尼正则化是否能降低数值不稳定性并消除对λ的手动调参需求？
• RQ4 基尼正则化最优传输度量能否以地理上有意义的方式有效评估局部时空预测的质量？
• RQ5 基尼正则化最优传输在不同基础数据分布（如正态、均匀、logit-正态）下的表现如何变化？

主要发现

• 随着λ增大，基尼正则化最优传输解比熵正则化最优传输解更快收敛至经典最优传输解。
• 当λ = 50时，基尼正则化最优传输的性能已与熵正则化在λ = 1000时相当，表明其具有更优的收敛速度。
• 在较小的λ值下，基尼正则化项仍能生成更精确的最优传输方案，而熵正则化项需依赖较大的λ值才能实现稳定。
• 基尼正则化最优传输方法表现出显著更优的数值稳定性，避免了熵正则化在高λ值下常见的下溢/上溢问题。
• 针对基尼正则化最优传输，条件梯度法与镜像下降法的求解器在高维问题中表现出更好的可扩展性，且性能表现良好。
• 在合成实验中，基尼正则化项在所有测试分布中均一致地产生相对于LP解更低的相对误差，尤其在低λ值下表现更优。