[論文レビュー] Quadratic Decomposable Submodular Function Minimization

Pan Li, Niao He+1 more|arXiv (Cornell University)|Jun 26, 2018

Complexity and Algorithms in Graphs被引用数 3

ひとこと要約

本稿は、グラフおよびハイパーグラフ学習における重要な問題である2次分解可能サブモジュラ関数最小化（QDSFM）のための、新規な二重最適化フレームワークを提案する。新たな円錐射影技術と弱い強い凸性解析を用いて、線形収束を達成する確率的座標降下（RCD）アルゴリズムを提案し、ハイパーグラフにおける半教師あり学習において、最先端の手法よりも高速な収束と高い精度を実現した。

ABSTRACT

We introduce a new convex optimization problem, termed quadratic decomposable submodular function minimization. The problem is closely related to decomposable submodular function minimization and arises in many learning on graphs and hypergraphs settings, such as graph-based semi-supervised learning and PageRank. We approach the problem via a new dual strategy and describe an objective that may be optimized via random coordinate descent (RCD) methods and projections onto cones. We also establish the linear convergence rate of the RCD algorithm and develop efficient projection algorithms with provable performance guarantees. Numerical experiments in semi-supervised learning on hypergraphs confirm the efficiency of the proposed algorithm and demonstrate the significant improvements in prediction accuracy with respect to state-of-the-art methods.

研究の動機と目的

• グラフおよびハイパーグラフ学習における重要な問題である2次分解可能サブモジュラ関数最小化（QDSFM）のための、効率的で線形収束する解法が不足しているという問題に対処すること。
• 標準的なDSFMにおける多面体構造とは異なり、積円錐への射影を含む、QDSFMのための新しい双対定式化を構築すること。
• RCDおよび交互射影法の線形収束を保証するため、双対QDSFM問題の弱い強い凸性を確立すること。
• 一般化フランク＝ウォルフ法および最小ノルム点法を用いて、収束保証付きの効率的な円錐射影アルゴリズムを設計すること。
• 提案手法をハイパーグラフ半教師あり学習において実験的に検証し、収束速度と予測精度の両面で優れた性能を示すこと。

提案手法

• 標準的なDSFMにおける多面体構造を置き換え、超平面の最良近似を積円錐上で求めるという、QDSFMのための新しい双対定式化を導出する。
• 双対QDSFM問題に対して、弱い強い凸性に基づく収束レート解析を用いた確率的座標降下（RCD）アルゴリズムを提案する。
• 各RCD反復において、円錐射影を効率的に計算するための一般化フランク＝ウォルフ法および最小ノルム点法を導入し、内側ループの収束レートが1/kであることを保証する。
• 底辺の円錐幾何に基づいて、双対目的関数の弱い強い凸性を証明することで、RCDアルゴリズムの線形収束を確立する。
• 反復複雑度および収束レートの境界を含む、性能保証付きの射影アルゴリズムを採用する。
• 実データおよび合成ハイパーグラフデータセットを用い、半教師あり学習ベンチマークで手法を実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 QDSFMの問題の円錐構造を捉えることのできる、新たな双対定式化を導出できるか？
• RQ2 提案されたRCDアルゴリズムはQDSFMに対して線形収束を達成できるか？また、そのレートを保証する条件は何か？
• RQ3 収束保証付きで計算コストが低い、効率的な円錐射影アルゴリズムを設計できるか？
• RQ4 ハイパーグラフ半教師あり学習タスクにおいて、既存のソルバ（例：PDHG、SGD、DRCD）と比較して、収束速度と予測精度の両面で優れているか？
• RQ5 収束速度がハイパーエッジ数、ノード次数、正則化強度といった問題パラメータにどのように依存するか、理論的に明らかにできるか？

主な発見

• 提案されたRCDアルゴリズムはQDSFMに対して線形収束を達成し、反復複雑度が $ O(R\mu(\beta^{-1}W^{-1},\beta^{-1}W^{-1})\log\frac{1}{\epsilon}) $ で抑えられる。ここで $ \mu $ は問題固有の条件数を表す。
• 標準的なDSFMとは異なり、双対QDSFM問題では積円錐への射影が必要であり、収束解析のための新しい解析的ツールが不可欠である。
• 合成および実際のハイパーグラフにおける数値実験から、QRCD-MNPおよびQRCD-FWはPDHGおよびSGDを上回る収束速度と予測精度を達成した。
• QRCD-MNPはより正確な内側ループの射影によりQRCD-FWよりも高い精度を達成したが、1反復あたりのCPU時間が長くなった。
• ハイパーグラフにおける半教師あり学習において、最先端の手法と比較して顕著な予測精度の向上を示し、収束が速く、一般化性能に優れた結果を得た。
• 理論的解析により、収束速度が $ N^2 \max(1, 9/(2\beta)) \max_{i,j} W_{ii}/W_{jj} $ に依存することが確認され、正則化および次数の不均衡に敏感であることが示された。