[论文解读] Consistent Structured Prediction with Max-Min Margin Markov Networks

Alex Nowak, Francis Bach+1 more|arXiv (Cornell University)|Jul 2, 2020

Machine Learning and Data Classification被引用 4

一句话总结

本文提出最大最小边际马尔可夫网络（M⁴N），一种用于结构化预测的统计一致方法，通过公式化最大最小边际优化，纠正了如M³N等最大边际方法的不一致性。该方法在$O(1/\sqrt{n})$的泛化误差下实现$O(n)$次投影预言机调用，与M³N的复杂度相当，同时在多分类、序数回归、序列和排序任务中提供了有限样本边界和一致性保证。

ABSTRACT

Max-margin methods for binary classification such as the support vector machine (SVM) have been extended to the structured prediction setting under the name of max-margin Markov networks ($M^3N$), or more generally structural SVMs. Unfortunately, these methods are statistically inconsistent when the relationship between inputs and labels is far from deterministic. We overcome such limitations by defining the learning problem in terms of a "max-min" margin formulation, naming the resulting method max-min margin Markov networks ($M^4N$). We prove consistency and finite sample generalization bounds for $M^4N$ and provide an explicit algorithm to compute the estimator. The algorithm achieves a generalization error of $O(1/\sqrt{n})$ for a total cost of $O(n)$ projection-oracle calls (which have at most the same cost as the max-oracle from $M^3N$). Experiments on multi-class classification, ordinal regression, sequence prediction and ranking demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决当标签-输入关系非确定性时，最大边际马尔可夫网络（M³N）在结构化预测中的统计不一致性问题。
• 开发一种理论基础坚实的M³N一致替代方法，确保收敛至结构化损失的真正最小化器。
• 提供有限样本泛化边界，其常数与输出空间大小无关，仅与部分数量的多项式相关。
• 设计一种计算复杂度与M³N相当的高效算法，通过投影预言机调用和Saddle Point Mirror Prox实现。
• 在多分类、序数回归、序列和排序等多样化结构化预测任务中，展示方法的实证有效性。

提出的方法

• 提出M⁴N作为最大最小边际公式，纠正M³N中的松散上界，确保一致性。
• 将学习问题表述为在Birkhoff多面体上的鞍点问题，采用带熵正则化的对偶边际最大化。
• 通过使用Saddle Point Mirror Prox迭代求解投影预言机调用，将BCFW算法推广至M⁴N。
• 采用三种熵正则化方式——受限香农熵、边缘熵和二次熵，其中边缘熵支持基于Sinkhorn-Knopp的高效投影。
• 通过对偶间隙分析和比较不等式建立理论边界，将经验风险与真实风险关联。
• 实现算法总成本为$O(n)$次投影预言机调用，每次调用成本不超过M³N中最大预言机的开销。

实验结果

研究问题

• RQ1 当标签-输入关系非确定性时，能否使结构化预测的最大边际方法实现统计一致性？
• RQ2 能否在输出空间大小无关的常数下，为结构化预测实现有限样本泛化边界？
• RQ3 能否在计算复杂度与M³N相当的前提下实现一致性，避免先前一致方法的$O(n^2)$开销？
• RQ4 最大最小边际公式是否在实际结构化预测任务中优于M³N的泛化性能？
• RQ5 Saddle Point Mirror Prox方法能否有效适配以通过投影预言机调用求解最大最小预言机？

主要发现

• M⁴N实现了统计一致性与有限样本泛化边界，误差率为$O(1/\sqrt{n})$。
• 该方法仅需$O(n)$次投影预言机调用，每次调用成本不超过M³N中最大预言机的开销。
• 泛化误差被界定为$O\left(\|\varphi(f^\star)\|_{\mathcal{G}} \sqrt{\frac{\log(1/\delta)}{n}}\right)$，常数与部分数量的多项式相关。
• 实证结果表明，M⁴N在多分类、序数回归、序列预测和排序任务中均优于M³N。
• 算法在$T = O(n)$步内实现最优统计误差，每次预言机调用耗时$O(\sqrt{n})$步，总复杂度为$O(n\sqrt{n})$。
• 采用边缘熵正则化可实现基于Sinkhorn-Knopp的高效投影，每次调用复杂度为$O(M^2/\delta)$。