[论文解读] LP-SparseMAP: Differentiable Relaxed Optimization for Sparse Structured Prediction

Vlad Niculae, André F. T. Martins|arXiv (Cornell University)|Jan 13, 2020

Tensor decomposition and applications参考文献 61被引用 4

一句话总结

LP-SparseMAP 提出了一种可微分的、松弛化的优化框架，用于稀疏结构化预测，通过基于因子图的局部多面体松弛，将 SparseMAP 扩展至处理不可解的结构化模型。该方法支持使用 ADMM 和闭式梯度的高效前向与反向传播，实现端到端训练，在依赖性解析、自然语言蕴涵和多标签分类任务中取得当前最优性能，尤其适用于复杂约束条件。

ABSTRACT

Structured prediction requires manipulating a large number of combinatorial structures, e.g., dependency trees or alignments, either as latent or output variables. Recently, the SparseMAP method has been proposed as a differentiable, sparse alternative to maximum a posteriori (MAP) and marginal inference. SparseMAP returns a combination of a small number of structures, a desirable property in some downstream applications. However, SparseMAP requires a tractable MAP inference oracle. This excludes, e.g., loopy graphical models or factor graphs with logic constraints, which generally require approximate inference. In this paper, we introduce LP-SparseMAP, an extension of SparseMAP that addresses this limitation via a local polytope relaxation. LP-SparseMAP uses the flexible and powerful domain specific language of factor graphs for defining and backpropagating through arbitrary hidden structure, supporting coarse decompositions, hard logic constraints, and higher-order correlations. We derive the forward and backward algorithms needed for using LP-SparseMAP as a hidden or output layer. Experiments in three structured prediction tasks show benefits compared to SparseMAP and Structured SVM.

研究动机与目标

• 为具有不可解 MAP 推断的模型（如具有逻辑约束或环状结构的模型）提供可微分的结构化预测能力。
• 通过局部多面体松弛方法，将 SparseMAP 框架扩展至支持表达性强、带约束的结构化模型。
• 为神经网络提供一种高效、模块化且可端到端训练的结构化隐藏层。
• 为前向传播和紧凑的反向传播推导出全局收敛的 ADMM 算法，无需计算图回溯。
• 通过仅需 MAP oracle 的通用接口，支持多种因子类型（如预算、逻辑或、否定等）。

提出的方法

• LP-SparseMAP 将结构化预测建模为在局部多面体上的松弛优化问题，使在精确 MAP 不可解的模型中实现可微分推理成为可能。
• 利用因子图表示来建模复杂依赖关系、约束（如预算、度数约束）以及高阶相关性。
• 前向传播采用具有全局收敛保证的 ADMM 算法，高效求解松弛后的对偶问题。
• 反向传播通过重用前向传播中的量，采用紧凑的闭式表达式计算梯度，避免对 ADMM 迭代过程进行反向传播。
• 通过通用接口集成新型因子类型，仅需提供 MAP oracle，实现即插即用的可扩展性。
• 针对常见因子（如成对因子、逻辑或、否定、预算等）推导专用求解器，以提升效率与精度。

实验结果

研究问题

• RQ1 能否设计一种可微分的结构化预测方法，以处理具有复杂约束的不可解 MAP 问题？
• RQ2 能否将 SparseMAP 框架扩展至需要近似推理的模型（如环状图模型或逻辑约束结构）？
• RQ3 能否为松弛化结构化预测推导出一种高效且全局收敛的 ADMM 前向传播算法？
• RQ4 能否在不展开计算图的前提下，以闭式表达式计算反向传播？
• RQ5 所提出的方法在具有结构化潜在变量的端到端学习中，是否优于 SparseMAP 和 Structured SVM 等现有方法？

主要发现

• LP-SparseMAP 在算术表达式解析中诱导潜在依赖树的任务上达到当前最优性能，优于 SparseMAP 和 Structured SVM。
• 在自然语言蕴涵任务中，结合约束解析的 LP-SparseMAP 显著提升 F1 分数，尤其在强逻辑约束条件下表现更优。
• 在多标签分类任务（bibtex 和 bookmarks）中，LP-SparseMAP 的 F1 和准确率高于 LP-MAP 和 SparseMAP，尤其在复杂标签相关性下优势明显。
• 该方法表现出强鲁棒性与高效性，仅需 10–100 次 ADMM 迭代即可收敛，原始和对偶误差容忍度均为 1e-6。
• 反向传播仅通过 100 次幂迭代即可获得高精度梯度，无需对 ADMM 循环进行自动微分。
• 库实现支持 C++ 和 Python，通过仅需 MAP oracle 的接口，可模块化地集成新型因子类型。