[論文レビュー] A Deep Reinforcement Learning Framework For Column Generation

Cheng Chi, Amine Mohamed Aboussalah+3 more|arXiv (Cornell University)|Jun 3, 2022

Vehicle Routing Optimization Methods被引用数 14

ひとこと要約

本稿では、列生成（CG）の高速化を図るための、初めての深層強化学習フレームワークであるRLCGを提案する。列選択を段階的意思決定問題としてモデル化し、線形計画問題（LP）の構造をグラフニューラルネットワーク（GNN）で符号化し、独自の報酬関数を用いたQ学習を採用することで、カットストック問題（CSP）では平均で22.4%、時間窓付き車両ルーティング問題（VRPTW）では40.9%のCG反復回数削減を達成した。これはグリーディポリシーと比較しての結果である。

ABSTRACT

Column Generation (CG) is an iterative algorithm for solving linear programs (LPs) with an extremely large number of variables (columns). CG is the workhorse for tackling large-scale extit{integer} linear programs, which rely on CG to solve LP relaxations within a branch and price algorithm. Two canonical applications are the Cutting Stock Problem (CSP) and Vehicle Routing Problem with Time Windows (VRPTW). In VRPTW, for example, each binary variable represents the decision to include or exclude a extit{route}, of which there are exponentially many; CG incrementally grows the subset of columns being used, ultimately converging to an optimal solution. We propose RLCG, the first Reinforcement Learning (RL) approach for CG. Unlike typical column selection rules which myopically select a column based on local information at each iteration, we treat CG as a sequential decision-making problem: the column selected in a given iteration affects subsequent column selections. This perspective lends itself to a Deep Reinforcement Learning approach that uses Graph Neural Networks (GNNs) to represent the variable-constraint structure in the LP of interest. We perform an extensive set of experiments using the publicly available BPPLIB benchmark for CSP and Solomon benchmark for VRPTW. RLCG converges faster and reduces the number of CG iterations by 22.4\% for CSP and 40.9\% for VRPTW on average compared to a commonly used greedy policy. Our code is available at https://github.com/chichengmessi/reinforcement-learning-for-column-generation.git.

研究の動機と目的

• 列生成（CG）における短視眼的な列選択ヒューリスティクスの非効率性に対処する。このヒューリスティクスは、長期的な収束を考慮せずに即時の減少コストに基づいて列を選択する。
• 各反復における列選択が将来の選択と全体の収束速度に与える影響を考慮し、CGを段階的意思決定プロセスとしてモデル化する。
• カットストック問題やVRPTWのような、変数が指数的に多く存在する大規模な線形計画問題に対して、強化学習を用いてポリシーを学習することで、CGの収束を加速する。
• 特定分野の知識に依存しない、さまざまなサイズと複雑さの問題インスタンスにわたる強化学習エージェントの訓練に効果的なカリキュラムを設計する。
• 反復回数と総実行時間の両面で、従来のグリーディーヒューリスティクスや計算コストの高い1ステップ先読みヒューリスティクスを上回る性能を達成する。

提案手法

• 線形計画問題（LP）における変数と制約の相互作用を二部グラフとして表現し、構造的特徴を捉えるためにグラフニューラルネットワーク（GNN）を用いて状態を符号化する。
• CGにおける列選択をマークフ・意思決定過程（MDP）として定式化し、状態は現在の制限付き主問題（RMP）であり、行動は追加する列の選択である。
• 反復回数の増加をペナルティとする密度・スパarsity・形状の報酬関数を設計し、最適解への収束を促進する。
• 状態から累積報酬の期待値をマップするQ関数を学習するためのディープQネットワーク（DQN）を訓練し、エージェントが総反復回数を最小化する列選択を可能にする。
• 初期段階では小さく単純なインスタンスから始め、段階的に複雑さを増すことで、学習の安定性と一般化性能を向上させるカリキュラム学習戦略を実装する。
• トレーニングの安定性とサンプル効率を向上させるために、ターゲットネットワークと経験再生を採用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習を列生成に効果的に適用することで、収束に必要な反復回数を削減できるか？
• RQ2 強化学習を用いて段階的列選択ポリシーを学習することで、最も負の減少コストを持つ列を選択する短視眼的ヒューリスティクスを上回れるか？
• RQ3 GNNベースの状態表現は、大規模なLPにおける構造的および数値的特徴を効果的に符号化できるか？
• RQ4 多様なCG問題インスタンスの分布にわたって効率的に強化学習エージェントを訓練するためのカリキュラム学習をどのように設計できるか？
• RQ5 強化学習に基づく列選択ポリシーは、CSPおよびVRPTWにおけるさまざまな問題サイズやデータ分布に一般化可能か？

主な発見

• BPPLIBベンチマークにおけるカットストック問題（CSP）において、RLCGはグリーディポリシーと比較して平均で22.4%のCG反復回数削減を達成した。
• ソロモンベンチマークにおける時間窓付き車両ルーティング問題（VRPTW）において、RLCGはグリーディポリシーと比較して平均で40.9%のCG反復回数削減を達成した。
• 両ベンチマークにおいて、RLCGはグリーディポリシーおよび高コストな1ステップ先読み整数計画法と比較して、総実行時間の面でもより速く収束した。
• GNNベースの状態表現により、エージェントは変数数や車両数が異なる多様な問題インスタンスに一般化する能力を有した。
• カリキュラム学習戦略は、学習の安定性とサンプル効率を顕著に向上させ、広範なインスタンスサイズと複雑さの範囲で効果的な学習を可能にした。
• 提案された報酬関数は、エージェントが総反復回数を最小化するように効果的に誘導し、局所最適化ではなく収束速度最適化が優れた性能をもたらすことを示した。