[論文レビュー] Online Control of Adaptive Large Neighborhood Search using Deep Reinforcement Learning

Robbert Reijnen, Yingqian Zhang+2 more|arXiv (Cornell University)|Nov 1, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、組合せ最適化のための適応的大型近傍探索（ALNS）において、オンラインでオペレータ選択、破壊の激しさ、および焼きなまし温度を制御する深層強化学習（DRL）ベースのフレームワーク、DR-ALNSを提案する。これは、確率的重みおよび時間依存的な時間窓を伴うIJCAI AI4TSPコンペティションのオリエンティング問題において、より少ない学習データおよび計算コストで、アンダーライニングALNS、ベイズ最適化されたALNS、および最先端のDRL手法を上回る性能を達成した。

ABSTRACT

The Adaptive Large Neighborhood Search (ALNS) algorithm has shown considerable success in solving combinatorial optimization problems (COPs). Nonetheless, the performance of ALNS relies on the proper configuration of its selection and acceptance parameters, which is known to be a complex and resource-intensive task. To address this, we introduce a Deep Reinforcement Learning (DRL) based approach called DR-ALNS that selects operators, adjusts parameters, and controls the acceptance criterion throughout the search. The proposed method aims to learn, based on the state of the search, to configure ALNS for the next iteration to yield more effective solutions for the given optimization problem. We evaluate the proposed method on an orienteering problem with stochastic weights and time windows, as presented in an IJCAI competition. The results show that our approach outperforms vanilla ALNS, ALNS tuned with Bayesian optimization, and two state-of-the-art DRL approaches that were the winning methods of the competition, achieving this with significantly fewer training observations. Furthermore, we demonstrate several good properties of the proposed DR-ALNS method: it is easily adapted to solve different routing problems, its learned policies perform consistently well across various instance sizes, and these policies can be directly applied to different problem variants.

研究の動機と目的

• 静的パラメータチューニングやヒューリスティクス選択の限界を解消すること。これらは試行錯誤に依存しており、動的変化する探索状態に適応できない。
• 問題に依存しない、オンライン学習フレームワークを構築し、探索中にALNSオペレータおよび受容基準を動的に設定することで、解の品質を向上させること。
• ALNSパラメータの広範なハイパーパrameterチューニングや、グリッド探索やランダム探索といった高コストな最適化手法への依存を減らすこと。
• 再訓練を最小限に抑えながら、異なる問題サイズにわたって一般化可能なポリシー学習を可能にすること。
• 解の品質および学習効率の両面で、従来のALNS設定およびエンドツーエンドの深層学習ベースラインを上回ること。

提案手法

• 深層Qネットワーク（DQN）エージェントが、現在の探索状態に基づき、解の品質向上に寄与する報酬信号を用いて、ALNSにおける破壊および修復オペレータの選択を学習する。
• DRLエージェントは、同時に2つの主要なALNSハイパーパrameterを制御する：破壊の激しさ（解の破壊度を制御）および焼きなまし温度（劣悪な解の受容度を制御）。
• 状態表現には、オペレータのパフォーマンス履歴、現在の解の品質、時間窓や確率的移動時間といった問題固有の特徴が含まれる。
• エージェントは、問題インスタンスの集合上で強化学習を用いて訓練され、探索プロセス中にリアルタイムで探索と活用のバランスを学習する。
• このフレームワークは問題に依存しない設計となっており、状態空間と行動空間を定義するだけで、新しいCOP（組合せ最適化問題）に対応可能である。
• 訓練は小さなインスタンスで実施され、一般化性能はより大きな未観測インスタンスで評価され、転移性を検証する。

実験結果

リサーチクエスチョン

• RQ1 DRLエージェントは、複雑な組合せ最適化問題において、解の品質を向上させるために、リアルタイムでALNSオペレータおよびパラメータの選択と設定を効果的に学習できるか？
• RQ2 提案されたDR-ALNS手法は、確率的かつ時間依存的なルーティング問題において、アンダーライニングALNSおよびベイズ最適化でチューニングされたALNSと比較して、どのように性能を発揮するか？
• RQ3 DRLエージェントは、異なる問題サイズにわたって一般化可能であり、小さなインスタンスから大きなインスタンスへの転移学習を可能にするか？
• RQ4 本手法は、はるかに少ない学習データおよび計算コストで、エンドツーエンドのDRLベースラインを上回る結果を達成できるか？
• RQ5 オンラインで適応的にALNSパラメータを制御することは、静的またはオフラインでチューニングされた設定を上回る程度の効果を示すか？

主な発見

• DR-ALNSは、全テストインスタンスサイズ（20、50、100名の顧客）において、アンダーライニングALNSおよびベイズ最適化でチューニングされたALNSを上回り、平均してより良い解を発見した。
• 2つの最先端のDRLベースライン（Rise_upおよびRatel）と比較して、わずか0.5～10時間の学習時間で、同様の性能を達成した。これらベースラインはそれぞれ数日から48時間の学習を要した。
• DR-ALNSは優れた一般化性能を示した：20ノードインスタンスで学習したモデルは、50および100ノードインスタンスでも、直接それらサイズで学習したモデルよりも優れた結果を出した。
• より大きなインスタンス（50および100ノード）で学習したモデルは、小さなインスタンス（20および50ノード）にデプロイされた際にも、さらなる性能向上を示した。これは、強い転移性を示している。
• 推論時間にわずかな増加（例：100ノードインスタンスで208秒）が見られたが、収束曲線から、DR-ALNSはベースラインALNS手法よりも良い解をより速く発見した。
• 学習プロセスは計算的に効率的であり、標準CPU上での学習時間は0.5～10時間で、エンドツーエンド手法と比較してスケーラビリティに優れたことを示した。