[论文解读] Bethe Projections for Non-Local Inference

Luke Vilnis, David Belanger+2 more|arXiv (Cornell University)|Mar 4, 2015

Domain Adaptation and Few-Shot Learning参考文献 23被引用 7

一句话总结

该论文提出Bethe Projections，一种非欧几里得投影梯度方法，通过在边缘分布上学习非局部、非凸的能量函数，实现了结构化预测中可处理的快速推理。该方法结合判别式学习与使用Bethe熵作为距离生成函数的可证明收敛优化，在引用提取、手写识别和集体图模型任务中达到最先进性能。

ABSTRACT

Many inference problems in structured prediction are naturally solved by augmenting a tractable dependency structure with complex, non-local auxiliary objectives. This includes the mean field family of variational inference algorithms, soft- or hard-constrained inference using Lagrangian relaxation or linear programming, collective graphical models, and forms of semi-supervised learning such as posterior regularization. We present a method to discriminatively learn broad families of inference objectives, capturing powerful non-local statistics of the latent variables, while maintaining tractable and provably fast inference using non-Euclidean projected gradient descent with a distance-generating function given by the Bethe entropy. We demonstrate the performance and flexibility of our method by (1) extracting structured citations from research papers by learning soft global constraints, (2) achieving state-of-the-art results on a widely-used handwriting recognition task using a novel learned non-convex inference procedure, and (3) providing a fast and highly scalable algorithm for the challenging problem of inference in a collective graphical model applied to bird migration.

研究动机与目标

• 解决图模型因高树宽和不可处理的推理而难以捕捉全局依赖关系的局限性。
• 实现对复杂、非局部推理目标的判别式学习，超越局部团和线性约束的限制。
• 为结构化预测中的凸与非凸非局部能量函数提供统一且高效的框架。
• 通过用快速的近端梯度方法替代昂贵的内点求解器，实现集体图模型（CGMs）中推理的可扩展性。

提出的方法

• 通过在边缘向量 $ \boldsymbol{\mu} $ 上引入参数化、非线性函数 $ L_{\boldsymbol{\psi}}(\boldsymbol{\mu}) $ 来增强标准边缘推理，提出一种非凸推理目标，从而实现全局规律性。
• 使用以Bethe熵作为距离生成函数的非欧几里得投影梯度下降，保持原始可行性并确保收敛性。
• 对于凸 $ L_{\boldsymbol{\psi}} $，可保证收敛至全局最优；对于非凸 $ L_{\boldsymbol{\psi}} $，证明可收敛至局部最优。
• 采用近端梯度框架，每次迭代均通过Bethe熵执行投影步骤，实现高效优化。
• 将黑箱推理子程序作为包装器集成，使方法模块化且易于实现。
• 通过将增强目标解释为近似变分推理，支持对 $ \boldsymbol{\theta} $ 和 $ \boldsymbol{\psi} $ 的判别式学习。

实验结果

研究问题

• RQ1 我们能否学习到表达性强、非局部的推理目标，在不增加模型复杂度的前提下强制实现全局一致性？
• RQ2 在结构化预测中引入非凸、非局部约束时，如何保持推理的可处理性？
• RQ3 通过用投影梯度下降替代内点法，能否在集体图模型中实现更快的推理？
• RQ4 在需要全局结构的任务（如引用提取和手写识别）中，该方法是否优于现有基线？
• RQ5 该框架能否应用于具有大规模、噪声聚合观测的实际问题，如鸟类迁徙建模？

主要发现

• 该方法通过学习软性全局约束，在引用提取任务中实现最先进性能，优于强大的对偶分解基线。
• 在广泛使用的手写识别基准上，所学习的非凸推理过程达到最先进结果，证明了非局部建模的强大能力。
• 对于集体图模型，所提算法将50k个节点问题的推理时间从690秒（内点求解器）减少至14秒，且精度无损失。
• 该方法在整个优化过程中保持原始可行性，使其可作为任意时间算法使用。
• 即使在高维特征下，受限的55类逻辑回归基线仍表现不如结构化模型，凸显了建模局部-全局相互作用的重要性。
• 该框架具有高度可扩展性和通用性，支持凸与非凸非局部能量函数，且具有可证明的收敛性。