[论文解读] Alternating Directions Dual Decomposition

André F. T. Martins, Mário A. T. Figueiredo+3 more|arXiv (Cornell University)|Dec 28, 2012

Machine Learning and Algorithms参考文献 79被引用 9

一句话总结

该论文提出 AD3，一种用于因子图中近似最大后验（MAP）推理的新算法，采用带二次正则化的交替方向乘子法（ADMM）进行对偶分解。通过用 ADMM 基于的优化替代次梯度更新，AD3 实现了 O(1/ε) 的收敛速率，显著快于以往的对偶分解方法，并支持二元成对约束和一阶逻辑约束的精确解，同时针对一般因子引入仅依赖局部 MAP oracle 的主动集方法。

ABSTRACT

We propose AD3, a new algorithm for approximate maximum a posteriori (MAP) inference on factor graphs based on the alternating directions method of multipliers. Like dual decomposition algorithms, AD3 uses worker nodes to iteratively solve local subproblems and a controller node to combine these local solutions into a global update. The key characteristic of AD3 is that each local subproblem has a quadratic regularizer, leading to a faster consensus than subgradient-based dual decomposition, both theoretically and in practice. We provide closed-form solutions for these AD3 subproblems for binary pairwise factors and factors imposing first-order logic constraints. For arbitrary factors (large or combinatorial), we introduce an active set method which requires only an oracle for computing a local MAP configuration, making AD3 applicable to a wide range of problems. Experiments on synthetic and realworld problems show that AD3 compares favorably with the state-of-the-art.

研究动机与目标

• 解决大规模 MAP 推理问题中基于次梯度的对偶分解方法收敛缓慢的问题。
• 开发一种可扩展、模块化的近似 MAP 推理算法，在保持对偶分解结构的同时提升收敛速度。
• 通过仅使用局部 MAP oracle，实现对具有组合或大因子的复杂模型的高效推理。
• 提供一个框架，支持通过分支定界法实现快速近似推理与精确 MAP 恢复。

提出的方法

• AD3 使用交替方向乘子法（ADMM）求解 LP-MAP 松弛问题的对偶问题，通过引入二次正则化替代次梯度更新，实现更快的共识收敛。
• AD3 中的每个局部子问题被表述为二次规划问题，使得二元成对因子和一阶逻辑约束的子问题可获得闭式解。
• 对于缺乏闭式解的一般因子，AD3 引入一种主动集方法，通过仅依赖局部 MAP oracle 迭代识别活动约束。
• 该算法通过将子问题分发给工作节点，并由控制器广播全局解以实现正则化，从而保持模块化结构。
• AD3 通过将算法嵌入分支定界过程，支持精确 MAP 推理，充分利用其对偶分解框架。
• 该方法基于增广拉格朗日优化，确保以 O(1/ε) 的收敛速率收敛，优于基于次梯度方法的 O(1/ε²) 速率。

实验结果

研究问题

• RQ1 基于 ADMM 的对偶分解能否在 MAP 推理中实现比基于次梯度的对偶分解更快的收敛速度？
• RQ2 对于常见因子类型（如伊辛模型和一阶逻辑约束）的 AD3 子问题，能否推导出闭式解？
• RQ3 能否设计一种仅需局部 MAP oracle 的主动集方法，以适用于一般因子并实现广泛适用性？
• RQ4 AD3 是否能通过与分支定界法集成实现精确 MAP 推理？

主要发现

• AD3 实现了 O(1/ε) 的收敛速率，显著快于基于次梯度方法的 O(1/ε²) 速率。
• 对于二元成对约束和一阶逻辑约束，AD3 子问题可获得闭式解，其计算成本与消息传递或局部 MAP 推理相当。
• 主动集方法使 AD3 能够仅通过黑箱局部 MAP oracle 处理由组合或大因子构成的复杂问题，同时保持模块化与可扩展性。
• AD3 在合成与真实世界问题上均优于当前最先进方法，表现出更快的收敛速度与更优的解质量。
• 通过分支定界过程，AD3 可扩展为精确 MAP 推理，其核心依赖于对偶分解框架。