[論文レビュー] Quadratic Decomposable Submodular Function Minimization: Theory and Practice

Pan Li, Niao He+1 more|arXiv (Cornell University)|Feb 26, 2019

Complexity and Algorithms in Graphs被引用数 7

ひとこと要約

本稿は、グラフおよびハイパーグラフ学習タスクをモデル化するための新しい凸最適化フレームワークである2次分解可能準単調関数最小化（QDSFM）を導入する。双対戦略に基づく二重ループアルゴリズムを提案し、ランダム座標降下法または交互射影法を用いることで線形収束を達成し、ハイパーグラフPageRankおよび半教師付き学習への応用において、精度と効率の両面で向上を示す。

ABSTRACT

We introduce a new convex optimization problem, termed quadratic decomposable submodular function minimization (QDSFM), which allows to model a number of learning tasks on graphs and hypergraphs. The problem exhibits close ties to decomposable submodular function minimization (DSFM), yet is much more challenging to solve. We approach the problem via a new dual strategy and formulate an objective that can be optimized through a number of double-loop algorithms. The outer-loop uses either random coordinate descent (RCD) or alternative projection (AP) methods, for both of which we prove linear convergence rates. The inner-loop computes projections onto cones generated by base polytopes of the submodular functions, via the modified min-norm-point or Frank-Wolfe algorithm. We also describe two new applications of QDSFM: hypergraph-adapted PageRank and semi-supervised learning. The proposed hypergraph-based PageRank algorithm can be used for local hypergraph partitioning, and comes with provable performance guarantees. For hypergraph-adapted semi-supervised learning, we provide numerical experiments demonstrating the efficiency of our QDSFM solvers and their significant improvements on prediction accuracy when compared to state-of-the-art methods.

研究の動機と目的

• 既存の準単調関数最小化フレームワークを一般化する、新しい種類の凸最適化問題である2次分解可能準単調関数最小化（QDSFM）を解くという挑戦に応えること。
• グラフおよびハイパーグラフ上の複雑な学習タスクを扱える、効率的なQDSFM用のアルゴリズムを開発すること。
• 特に線形収束レートを含む、提案されたソルバーに対する保証された収束保証を確立すること。
• ハイパーグラフに適応したPageRankおよび半教師付き学習の2つの新しい応用を通じて、実用的有用性を示すこと。

提案手法

• QDSFMを双対最適化問題として定式化し、外側のループで座標降下法や交互射影法を適用可能にする。
• 内側のループで、準単調関数の基本ポリトープが生成する錐への射影を実行する二重ループ構造を採用する。
• 内側のループの射影を、修正版最小ノルム点法またはFrank-Wolfeアルゴリズムを用いて効率的に計算する。
• 外側のループでランダム座標降下法（RCD）と交互射影法（AP）を用い、両者とも線形収束が保証されている。
• 準単調関数の分解可能性を活用して、最適化問題を扱いやすい部分に構造化する。
• 準単調関数の基本ポリトープを錐最適化フレームワークに統合し、スケーラブルな計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 2次分解可能準単調関数を通じて、グラフおよびハイパーグラフ上の複雑な学習タスクをモデル化する新しい凸最適化フレームワークを開発できるか？
• RQ2 標準的な分解可能準単調関数最小化と比較して、QDSFMの複雑さが高まっている状況において、効率的にQDSFMを解く方法は何か？
• RQ3 提案された双対ベースの二重ループアルゴリズムに対して、どのような収束保証を確立できるか？
• RQ4 QDSFMは、局所的ハイパーグラフ分割や半教師付き学習といった実世界の学習タスクに効果的に応用できるか？
• RQ5 QDSFMに基づくソルバーの性能は、精度と効率の両面で最先端の手法と比較してどうなるか？

主な発見

• ランダム座標降下法または交互射影法を用いた場合、提案されたQDSFMソルバーは線形収束レートを達成する。
• 内側のループの射影ステップは、準単調関数の基本ポリトープが生成する錐上で、修正版最小ノルム点法またはFrank-Wolfeアルゴリズムを用いて効率的に計算できる。
• QDSFMに基づくハイパーグラフに適応したPageRankアルゴリズムは、局所的ハイパーグラフ分割に対して保証された性能を提供する。
• 数値実験の結果、QDSFMに基づく半教師付き学習モデルは、最先端の手法と比較して予測精度において顕著な向上を示す。
• 二重ループアルゴリズムフレームワークは高い計算効率を示し、大規模なグラフおよびハイパーグラフ学習タスクにおける実用的導入を可能にする。