[论文解读] Quadratic Decomposable Submodular Function Minimization: Theory and Practice

Pan Li, Niao He+1 more|arXiv (Cornell University)|Feb 26, 2019

Complexity and Algorithms in Graphs被引用 7

一句话总结

本文提出二次可分解子模函数最小化（QDSFM），一种新型凸优化框架，用于建模图与超图学习任务。该方法提出一种双层循环算法的对偶策略，结合随机坐标下降或交替投影法，实现线性收敛，并在超图PageRank与半监督学习中展示出更高的准确率与效率。

ABSTRACT

We introduce a new convex optimization problem, termed quadratic decomposable submodular function minimization (QDSFM), which allows to model a number of learning tasks on graphs and hypergraphs. The problem exhibits close ties to decomposable submodular function minimization (DSFM), yet is much more challenging to solve. We approach the problem via a new dual strategy and formulate an objective that can be optimized through a number of double-loop algorithms. The outer-loop uses either random coordinate descent (RCD) or alternative projection (AP) methods, for both of which we prove linear convergence rates. The inner-loop computes projections onto cones generated by base polytopes of the submodular functions, via the modified min-norm-point or Frank-Wolfe algorithm. We also describe two new applications of QDSFM: hypergraph-adapted PageRank and semi-supervised learning. The proposed hypergraph-based PageRank algorithm can be used for local hypergraph partitioning, and comes with provable performance guarantees. For hypergraph-adapted semi-supervised learning, we provide numerical experiments demonstrating the efficiency of our QDSFM solvers and their significant improvements on prediction accuracy when compared to state-of-the-art methods.

研究动机与目标

• 为解决一类新型凸优化问题——二次可分解子模函数最小化（QDSFM）——的挑战，该问题推广了现有的子模最小化框架。
• 开发适用于图与超图复杂学习任务的高效QDSFM算法。
• 为所提出的求解器建立可证明的收敛性保证，特别是线性收敛速率。
• 通过两个新颖应用展示其实际效用：超图适配的PageRank与半监督学习。

提出的方法

• 将QDSFM表述为对偶优化问题，使外层循环可使用坐标下降与交替投影方法。
• 采用双层循环结构，其中内层循环对子模函数基多面体生成的锥体执行投影。
• 使用改进的最小范数点法或Frank-Wolfe算法，高效计算内层投影。
• 在外层循环中应用随机坐标下降（RCD）与交替投影（AP）方法，二者均被证明具有线性收敛性。
• 利用子模函数的可分解性，将优化问题结构化为可管理的组成部分。
• 将子模函数基多面体整合到锥优化框架中，以支持可扩展计算。

实验结果

研究问题

• RQ1 能否开发一种新型凸优化框架，通过二次可分解子模函数对图与超图上的复杂学习任务进行建模？
• RQ2 在相比标准可分解子模最小化更具复杂性的情况下，如何高效求解QDSFM？
• RQ3 为所提出的基于对偶的双层循环算法，可建立何种收敛性保证？
• RQ4 QDSFM能否有效应用于真实世界的学习任务，如局部超图划分与半监督学习？
• RQ5 基于QDSFM的求解器在准确率与效率方面，相较于最先进方法表现如何？

主要发现

• 所提出的QDSFM求解器在采用随机坐标下降或交替投影方法时，实现线性收敛速率。
• 内层投影步骤通过在基多面体生成的锥体上使用改进的最小范数点法或Frank-Wolfe算法，实现高效计算。
• 基于QDSFM的超图适配PageRank算法，为局部超图划分提供了可证明的性能保证。
• 数值实验表明，基于QDSFM的半监督学习模型在预测准确率方面显著优于最先进方法。
• 双层循环算法框架展现出高计算效率，支持在大规模图与超图学习任务中的实际部署。