[論文レビュー] Faster Fundamental Graph Algorithms via Learned Predictions

Justin Y. Chen, Sandeep Silwal+2 more|arXiv (Cornell University)|Apr 26, 2022

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、予測された双対変数を用いて、基本的なグラフ問題に対する学習拡張アルゴリズムを提示し、機械学習によるヒントを活用することで、より高速な実行時間を達成している。短経路問題に対しては、削減された辺の双対変数の新しい応用を導入し、学習拡張アルゴリズムを新たな問題に拡張する一般化された還元フレームワークを提案している。予測の学習可能性については、PAC学習理論を用いた保証が与えられている。

ABSTRACT

We consider the question of speeding up classic graph algorithms with machine-learned predictions. In this model, algorithms are furnished with extra advice learned from past or similar instances. Given the additional information, we aim to improve upon the traditional worst-case run-time guarantees. Our contributions are the following: (i) We give a faster algorithm for minimum-weight bipartite matching via learned duals, improving the recent result by Dinitz, Im, Lavastida, Moseley and Vassilvitskii (NeurIPS, 2021); (ii) We extend the learned dual approach to the single-source shortest path problem (with negative edge lengths), achieving an almost linear runtime given sufficiently accurate predictions which improves upon the classic fastest algorithm due to Goldberg (SIAM J. Comput., 1995); (iii) We provide a general reduction-based framework for learning-based graph algorithms, leading to new algorithms for degree-constrained subgraph and minimum-cost $0$-$1$ flow, based on reductions to bipartite matching and the shortest path problem. Finally, we give a set of general learnability theorems, showing that the predictions required by our algorithms can be efficiently learned in a PAC fashion.

研究の動機と目的

• 過去または類似のインスタンスからの双対変数を含む機械学習予測を用いて、古典的なグラフアルゴリズムの高速化を図ること。
• 学習拡張アルゴリズムが二部マッチングを越えて一般化可能かどうかを検討すること。
• 学習拡張アルゴリズムを新たなグラフ問題に適用可能な一般化された還元ベースのフレームワークを開発すること。
• PAC学習を用いて、必要な予測の理論的基盤を確立すること。

提案手法

• 負の重みを伴う最短経路問題に対して、新たな予測タイプとして「削減された辺の双対変数」を導入し、収束を高速化する。
• 予測された削減された辺の双対変数を、最短経路問題の妥当な双対解に変換するためのラウンドリングスキームを提案する。
• 新たなグラフ問題（例：次数制約付き部分グラフ、ユニット容量フロー）を、既知の問題（二部マッチング、最短経路）に還元する一般化された還元フレームワークを開発する。
• 予測誤差の経験的リスク最小化をℓ₁およびℓ∞ノルムで行い、双対予測の効率的学習を実現する。
• PAC学習理論を用いて、予測関数のサンプル複雑度と一般化誤差の境界を導出する。
• 計算複雑度の境界（VC次元および擬似次元を用いて）を用いて、算術演算に基づく予測関数の学習可能性を確立する。

実験結果

リサーチクエスチョン

• RQ1 二部マッチングを越えて、負の重みを伴う単一始点最短経路問題に対しても、学習拡張アルゴリズムを設計可能か？
• RQ2 各グラフ問題に対して再設計を行わずに、還元を用いて既存の学習拡張アルゴリズムを再利用可能か？
• RQ3 必要な予測（例：双対変数）がPAC的意味で効率的に学習可能であるための条件は何か？
• RQ4 ℓ₁およびℓ∞ノルムの異なる予測ノルムが、学習拡張グラフアルゴリズムの実行時間と学習可能性に与える影響は何か？
• RQ5 予測関数の計算複雑度を用いて、一般化された学習可能性の境界を導出可能か？

主な発見

• 最小重み二部マッチングに対して、O(m√n + (m+n log n) ||y* - ŷ||₀) の改善された実行時間を達成しており、以前の Õ(min{m√n ||y* - ŷ'||₁, mn}) の境界を著しく上回っている。
• 負の辺重みを伴う単一始点最短経路問題では、予測が正確な場合、O(m min{||ŷ - y*||₁ · ||ŷ - y*||∞, √n log ||ŷ - y*||∞}) の時間で実行される。
• 還元フレームワークにより、次数制約付き部分グラフおよびユニット容量最小コスト0-1フロー問題に対する新たな学習拡張アルゴリズムが可能になった。これらは二部マッチングおよび最短経路問題への還元によって実現された。
• 本稿では、T(m,d) 時間で計算可能な予測関数に対して、O(poly(T(m,d))) のサンプル複雑度で予測がPAC的に学習可能であることを証明した。
• ℓ₁およびℓ∞予測損失に対しては、擬似次元およびVC次元を用いてサンプル複雑度の境界が得られ、後者は予測関数の計算複雑度に関連している。
• 本フレームワークにより、エッジ特徴および線形関数に基づく予測が、標準的仮定の下で効率的に学習可能であることが示され、一般化誤差の境界が計算複雑度から導出された。