[論文レビュー] Faster Matchings via Learned Duals

Michael Dinitz, Sungjin Im+3 more|arXiv (Cornell University)|Jul 20, 2021

Optimization and Search Problems参考文献 47被引用数 5

ひとこと要約

本稿では、重み付き二部マッチングおよびb-マッチングアルゴリズムの高速化のため、機械学習で得た双対変数をウォームスタートとして用いる新しい手法を提案する。妥当性、最適性、学習可能性の3点を双対空間における予測と効率的な射影によって取り扱うことで、低サンプル複雑性で、理論的にも速い実行時間を達成し、実データおよび合成データ上で実証的に検証された。

ABSTRACT

A recent line of research investigates how algorithms can be augmented with machine-learned predictions to overcome worst case lower bounds. This area has revealed interesting algorithmic insights into problems, with particular success in the design of competitive online algorithms. However, the question of improving algorithm running times with predictions has largely been unexplored. We take a first step in this direction by combining the idea of machine-learned predictions with the idea of "warm-starting" primal-dual algorithms. We consider one of the most important primitives in combinatorial optimization: weighted bipartite matching and its generalization to $b$-matching. We identify three key challenges when using learned dual variables in a primal-dual algorithm. First, predicted duals may be infeasible, so we give an algorithm that efficiently maps predicted infeasible duals to nearby feasible solutions. Second, once the duals are feasible, they may not be optimal, so we show that they can be used to quickly find an optimal solution. Finally, such predictions are useful only if they can be learned, so we show that the problem of learning duals for matching has low sample complexity. We validate our theoretical findings through experiments on both real and synthetic data. As a result we give a rigorous, practical, and empirically effective method to compute bipartite matchings.

研究の動機と目的

• オンライン設定における競争比の範囲を超えて、機械学習予測を用いてアルゴリズムの実行時間を改善するというギャップを埋めること。
• 妥当性、最適性、学習可能性の3つの核心的課題を明確に定式化し、それらを解決すること。
• 重み付き二部マッチングおよびb-マッチング問題におけるプライマル・デュアルアルゴリズムに、理論的裏付けのある実用的ウォームスタートフレームワークを提供すること。
• 双対変数が、性能保証を維持したまま、少数のサンプルで効率的に学習可能であることを示すこと。

提案手法

• プライマル・デュアルアルゴリズムに機械学習で得た双対変数をウォームスタートとして用い、不適切な予測を効率的なアルゴリズムで妥当な双対解に射影する。
• マッチング問題の双対定式化を用いて、予測された双対変数と最適双対変数とのℓ₁距離に基づく損失関数を定義する。
• 擬似次元解析を用いてサンプル複雑性の上限を導出し、双対予測が少数のトレーニングインスタンスから学習可能であることを示す。
• ノルムを保存する変換を用いてb-マッチングの双対空間を標準マッチングの双対空間に関連づけ、理論的保証の一般化を可能にする。
• コストインスタンスの分布上での、予測された双対変数と真の最適双対変数の期待ℓ₁距離を最小化するトレーニング手順を設計する。
• 学習された双対変数を、高品質な初期双対解から開始することで、収束が速くなるプライマル・デュアルアルゴリズムに統合する。

実験結果

リサーチクエスチョン

• RQ1 機械学習で得た双対変数を用いて、重み付き二部マッチングのためのプライマル・デュアルアルゴリズムを高速化できるか？
• RQ2 最適性保証を損なわずに、不適切な予測された双対変数を効率的に妥当な解に変換する方法は何か？
• RQ3 マッチング問題の有用な双対予測を学習するために必要なサンプル複雑性はどの程度か？
• RQ4 学習された双対変数の品質を、実行時間の改善と定量的に関連づけられるか？
• RQ5 双対空間のアプローチは、標準的なウォームスタートヒューリスティクスと比較して、より良い一般化性能とより速い収束を実現できるか？

主な発見

• 提案手法は、学習された双対変数をウォームスタートとして用いることで、重み付き二部マッチングの実行時間を高速化し、予測の品質が高くなるほど性能が向上する。
• 不適切な予測された双対変数を、最適双対に近い妥当な双対解に効率的に写像するアルゴリズムが開発された。
• 双対予測のサンプル複雑性は、O((nCB/ε)²(n log n + log(1/ρ)))で上限が保証され、少数のトレーニングインスタンスから一般化可能である。
• 双対予測関数クラスの擬似次元はO(n log n)であり、低サンプル複雑性でPAC学習可能である。
• 実データおよび合成データ上の実験結果から、本手法は理論的にも妥当であり、実用的にも効果的で、標準的手法よりも高速であることが確認された。
• 双対空間の定式化により、ノルム変換技術を用いて理論的保証を標準マッチングからb-マッチングへと一般化可能である。