[論文レビュー] Deep Policies for Online Bipartite Matching: A Reinforcement Learning Approach

Mohammad Ali Alomrani, Reza Moravej+1 more|arXiv (Cornell University)|Sep 21, 2021

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文では、歴史的グラフデータから近似的に最適なオンライン二部マッチング方策を学習するため、深層ニューラルネットワークを用いた強化学習フレームワークを提案する。マッチングプロセスをマルコフ決定過程としてモデル化し、グラフ構造、ノード属性、マッチング履歴を組み込むことで、合成および実世界のデータセットにおいて、グリーディベースラインよりも3–10%高いマッチング品質を達成する。

ABSTRACT

The challenge in the widely applicable online matching problem lies in making irrevocable assignments while there is uncertainty about future inputs. Most theoretically-grounded policies are myopic or greedy in nature. In real-world applications where the matching process is repeated on a regular basis, the underlying data distribution can be leveraged for better decision-making. We present an end-to-end Reinforcement Learning framework for deriving better matching policies based on trial-and-error on historical data. We devise a set of neural network architectures, design feature representations, and empirically evaluate them across two online matching problems: Edge-Weighted Online Bipartite Matching and Online Submodular Bipartite Matching. We show that most of the learning approaches perform consistently better than classical baseline algorithms on four synthetic and real-world datasets. On average, our proposed models improve the matching quality by 3--10\\% on a variety of synthetic and real-world datasets. Our code is publicly available at https://github.com/lyeskhalil/CORL.

研究の動機と目的

• 手動によるアルゴリズム設計を伴わずに、複雑なオンライン二部マッチングの変種に対する自動的な方策設計を実現すること。
• 到着分布のみにとどまらず、歴史的グラフインスタンスを活用して、文脈に応じた、非マクロ的（非短期的）なマッチング意思決定を学習すること。
• ノード属性、グラフのスパarsity、マッチング履歴を統合的に扱う強化学習フレームワークを構築し、意思決定の質を向上させること。
• 不変ニューラルネットワークアーキテクチャを用いて、グラフサイズや構造の変化に一般化できることを示すこと。
• 強化学習に基づく方策が、エッジ重み付きおよびサブモジュラーマッチング設定において、グリーディおよび教師ありベースラインを上回ることを示すこと。

提案手法

• 現在のグラフ、部分的マッチング、ノード特徴量によって定義される状態を持つ、オンライン二部マッチングをマルコフ決定過程（MDP）として定式化する。
• 順伝播型、GNN、不変バージョンを含む6種類の深層学習アーキテクチャを設計し、履歴符号化の有無を併記する。
• ノードレベルの特徴量（例：次数、重み、属性）とグラフレベルの特徴量（例：|U|/|V|比、スパarsity、コミュニティ構造）を特徴工学的に設計する。
• 累積マッチング報酬を最大化するように、歴史的グラフインスタンス上で方策勾配強化学習を用いて方策を学習する。
• グラフニューラルネットワークを用いてノード間の依存関係をモデル化し、二部グラフ内の構造的パターンを捉える。
• 不変性技術を適用して、異なるグラフサイズやノード識別子に対してもモデル性能が一般化されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、古典的なグリーディ手法や分布推定に基づくアルゴリズムよりも優れたオンラインマッチング方策を学習できるか？
• RQ2 グラフ構造、ノード属性、マッチング履歴を方策ネットワークに組み込むことで、どの程度効果的になるか？
• RQ3 不変ニューラルネットワークアーキテクチャは、異なるグラフサイズやトポロジーにわたって、より良い一般化性能を示すか？
• RQ4 RLフレームワークは、エッジ重みが以前のマッチングに依存する複雑な変種（例：オンラインサブモジュラーマッチング）を処理できるか？
• RQ5 歴史的データの活用により、エージェントはグリーディでない戦略的マッチング行動を学習できるか？

主な発見

• 提案されたRLベースの方策は、4つの合成および実世界データセットにおいて、グリーディおよびベースラインアルゴリズムと比較して平均して3–10%高いマッチング品質を達成する。
• 履歴を組み込むモデル（例：gnn-histやinv-ff-hist）は、履歴を含まない対応モデルよりも一貫して優れた性能を示し、特に密度が高く構造的なグラフでは顕著である。
• グラフニューラルネットワークモデル（例：gnn-hist）は、OSBM問題において最良のパフォーマンスを発揮し、ノード属性が利用可能な場合に顕著である。
• 不変モデルは、より大きなグラフに一般化しやすく、非不変モデルはアーキテクチャサイズが固定されていても、グラフサイズの増大に伴い性能が低下する。
• 動的エッジ重みが解の経路に依存するため、RLフレームワークはOSBMにおいて教師あり微調整（ff-supervised）を上回る性能を示す。
• 本手法は、手作業によるアルゴリズム設計への依存を軽減し、サブモジュラーオブジェクティブを含む多様なOBM変種において、自動的な方策学習を可能にする。