[論文レビュー] A Bi-Level Framework for Learning to Solve Combinatorial Optimization on Graphs

Runzhong Wang, Zhigang Hua+7 more|arXiv (Cornell University)|Jun 9, 2021

Constraint Satisfaction and Optimization参考文献 64被引用数 16

ひとこと要約

本稿では、組合せ最適化問題の解の品質を向上させるために、ポリシーネットワーク（上位層）によるグラフ構造の最適化を実現する二段階強化学習フレームワークを提案する。一方で、変更されたグラフ上で高速なヒューリスティックソルバー（下位層）を活用する。この手法は、DAGスケジューリング、グラフ編集距離、ハミルトニアンサイクル問題の各分野において、従来のヒューリスティックおよび単一段階学習ベースラインを上回り、同等の推論コストで優れた解の品質を達成した。

ABSTRACT

Combinatorial Optimization (CO) has been a long-standing challenging research topic featured by its NP-hard nature. Traditionally such problems are approximately solved with heuristic algorithms which are usually fast but may sacrifice the solution quality. Currently, machine learning for combinatorial optimization (MLCO) has become a trending research topic, but most existing MLCO methods treat CO as a single-level optimization by directly learning the end-to-end solutions, which are hard to scale up and mostly limited by the capacity of ML models given the high complexity of CO. In this paper, we propose a hybrid approach to combine the best of the two worlds, in which a bi-level framework is developed with an upper-level learning method to optimize the graph (e.g. add, delete or modify edges in a graph), fused with a lower-level heuristic algorithm solving on the optimized graph. Such a bi-level approach simplifies the learning on the original hard CO and can effectively mitigate the demand for model capacity. The experiments and results on several popular CO problems like Directed Acyclic Graph scheduling, Graph Edit Distance and Hamiltonian Cycle Problem show its effectiveness over manually designed heuristics and single-level learning methods.

研究の動機と目的

• グラフ上の組合せ最適化（CO）におけるエンドツーエンドディープラーニングのスケーラビリティおよびモデル容量の制限を解決すること。
• COを二段階最適化問題に再定式化することで、ディープモデルの学習の複雑さを軽減すること。
• 従来のヒューリスティックソルバーと強化学習を統合し、解の品質と学習の安定性を向上させること。
• 高価な教師信号や大きな行動空間における不安定な強化学習学習を回避する、一般化可能でラベルフリーの手法を開発すること。
• DAGスケジューリング、グラフ編集距離、ハミルトニアンサイクル問題を含む多様なCO問題において、有効性を実証すること。

提案手法

• フレームワークは二段階最適化を採用：上位層の強化学習エージェントがグラフ構造（辺の追加・削除）を変更し、下位層のヒューリスティックが変更後のグラフ上でCOタスクを解く。
• グラフ畳み込みネットワーク（GCN）が入力グラフを符号化し、ポリシーネットワークはResNetブロックと自己注意機構を用いて状態表現を生成する。
• プロキシポリシーオプティマイゼーション（PPO）を用いて上位層エージェントを学習し、スパarsな報酬を与える。ヒューリスティックのフィードバックのおかげで、単一段階RLと比較して報酬のスパarsityが低減される。
• 下位層のヒューリスティック（例：LKH3、近傍探索）は環境の一部として統合され、高速かつ安定した学習が可能になる。
• 真のラベルは必要とせず、ヒューリスティックの結果とPPOによる報酬形状化に依存する。
• モデル部品は標準的である：GCNでグラフ符号化、ResNetでポリシーおよび価値ネットワーク、注意機構で長距離依存性を扱う。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックに一部の解法を移譲することで、組合せ最適化におけるディープラーニングモデルの負担を二段階フレームワークが軽減できるか？
• RQ2 強化学習を用いてグラフ構造を変更する学習が、エンドツーエンド学習や固定ヒューリスティックと比較して、より優れた解の品質をもたらすか？
• RQ3 再トレーニングなしで、異なるグラフサイズやCO問題タイプに一般化できるか？
• RQ4 二段階設計が、強化学習ベースのCO手法に共通する報酬のスパarsity問題をどのように緩和するか？
• RQ5 単一段階学習および従来のヒューリスティックと比較して、解の品質と推論効率のトレードオフはいかほどか？

主な発見

• FHCPベンチマークでは、PPO-BiHybが25%のハミルトニアンサイクルを発見したが、LKH3-fast（0%）およびPPO-Single（0%）は失敗した。
• FHCP-500/600では、PPO-BiHybがTSP目的関数で6.7 ± 14.0を達成し、PPO-Single（9.5 ± 45.6）およびLKH3-accu（6.3 ± 13.0）を大きく上回った。
• 訓練用グラフサイズ250–500からテストインスタンスサイズ500–600への一般化が良好に達成され、強力なゼロショット一般化性能を示した。
• 推論時間が10倍に延びても、PPO-Single（ビーム幅12）はPPO-BiHybを下回った。これは、二段階設計がサンプル効率を向上させることを示している。
• ランダム・バイハイブ（Random-BiHyb）ベースライン（ランダムなグラフ編集）ですら、LKH3-fastを上回った。これは、単にグラフを変更するだけでヒューリスティック性能が向上することを示している。
• DAGスケジューリングおよびグラフ編集距離の分野で、ハンドクラフトヒューリスティックおよび単一段階学習ベースラインを上回り、最先端の結果を達成した。