[論文レビュー] An Improved Reinforcement Learning Algorithm for Learning to Branch

Qingyu Qu, Xijun Li+7 more|arXiv (Cornell University)|Jan 17, 2022

Machine Learning and Data Classification被引用数 10

ひとこと要約

本論文は、強化学習（RL）と模倣学習を組み合わせた、混合整数線形計画法（MILP）における分岐の学習を目的とした新しいRLアルゴリズムを提案する。強化学習の初期学習を加速し、ロバスト性を向上させるために、強力分岐からのデモンストレーションデータを活用し、専用の優先順位付きリプレイバッファを用いてエキスパートデータと自己生成データのバランスを動的に制御する。優れたQネットワークを用いることで、性能が著しく向上し、ベンチマーク問題において、従来のヒューリスティック法や最先端の模倣学習手法を最大35.88%上回る最先端の性能を達成した。

ABSTRACT

Most combinatorial optimization problems can be formulated as mixed integer linear programming (MILP), in which branch-and-bound (B\&B) is a general and widely used method. Recently, learning to branch has become a hot research topic in the intersection of machine learning and combinatorial optimization. In this paper, we propose a novel reinforcement learning-based B\&B algorithm. Similar to offline reinforcement learning, we initially train on the demonstration data to accelerate learning massively. With the improvement of the training effect, the agent starts to interact with the environment with its learned policy gradually. It is critical to improve the performance of the algorithm by determining the mixing ratio between demonstration and self-generated data. Thus, we propose a prioritized storage mechanism to control this ratio automatically. In order to improve the robustness of the training process, a superior network is additionally introduced based on Double DQN, which always serves as a Q-network with competitive performance. We evaluate the performance of the proposed algorithm over three public research benchmarks and compare it against strong baselines, including three classical heuristics and one state-of-the-art imitation learning-based branching algorithm. The results show that the proposed algorithm achieves the best performance among compared algorithms and possesses the potential to improve B\&B algorithm performance continuously.

研究の動機と目的

• MILPにおけるRLベースの分岐の学習が遅く、分散が大きいという課題に対処し、エキスパートのデモンストレーションを用いて学習を加速すること。
• 優先順位付きストレージメカニズムを用いて、デモンストレーションデータと自己生成データの混合割合を動的に制御することで、学習の安定性と性能を向上させること。
• 高次元の状態空間と大きな行動空間を持つMILP環境において、より優れたQネットワークを導入することで、ロバスト性を向上させること。
• 分枝限定法（B&B）を用いたMILP問題の解法において、従来のヒューリスティック法や模倣学習ベースのベースラインを上回る性能を達成すること。

提案手法

• アルゴリズムは、強力分岐からのデモンストレーションデータを用いてRLエージェントを事前学習させ、初期学習を加速する。
• 優先順位付き経験リプレイバッファは、トレーニング中にエキスパートのデモンストレーションと自己生成データの混合比を自動で制御する。
• Double DQNに基づくアーキテクチャに、優れたQネットワークを組み合わせ、トレーニング全体を通して競争力のある性能を維持する。
• エージェントは、現在のシンプレックステーブルと分岐意思決定から得られる状態特徴を用いて、変数選択をマークフ・意思決定過程（MDP）としてモデル化する。
• 性能が向上するに従い、段階的にデモンストレーション誘導学習から自己探索的ポリシーの最適化へと移行するトレーニングプロセスを実装する。
• アルゴリズムは、二重積分とノード数を性能指標として用い、3つの公開MILPベンチマークで評価された。

実験結果

リサーチクエスチョン

• RQ1 デモンストレーションデータは、MILPにおける分岐のためのRLエージェントの学習を顕著に加速できるか？
• RQ2 低品質なデータによる劣化を避けるために、トレーニング中にエキスパートのデモンストレーションと自己生成データの比率を効果的かつ自動的に制御する方法は何か？
• RQ3 優れたQネットワークは、大きな行動空間を持つ高次元のMILP環境において、学習の安定性と性能を向上させられるか？
• RQ4 模倣学習と自己改善型RLを組み合わせることで、純粋な模倣学習や従来のヒューリスティック法よりも優れた性能が得られるか？

主な発見

• 提案手法は、3つのベンチマークすべてで最高スコアを記録した：Balanced Item Placementで32,547,931、Workload Apportionmentで32,446,178、Anonymous Problemで32,446,178。
• Balanced Item Placementベンチマークでは100インスタンス中42インスタンスで勝利し、最先端の模倣学習手法（29勝）とすべてのヒューリスティックベースラインを大きく上回った。
• Balanced Item Placementベンチマークにおいて、模倣学習ベースライン比で二重積分を最大35.88%削減した。
• アブレーションスタディの結果、優れたQネットワークと優先順位付きリプレイが、安定的かつ効果的な学習に不可欠であることが確認された。ベースラインのDouble DQNは、効果的な学習が不可能であった。
• 二重境界曲線から、提案手法がすべてのベースラインよりも速く最適解に到達し、より少ないノード数で到達したことが示された。
• 訓練プロセスが安定化し、提案された構成要素により時間経過とともに性能が向上する傾向を示し、継続的な改善の可能性を示した。