[논문 리뷰] Online Control of Adaptive Large Neighborhood Search using Deep Reinforcement Learning

Robbert Reijnen, Yingqian Zhang외 2명|arXiv (Cornell University)|2022. 11. 01.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 조합 최적화 문제를 위한 적응형 대규모 이웃 탐색(Adaptive Large Neighborhood Search, ALNS)에서 온라인으로 운영자 선택, 파괴 심각도, 시뮬레이티드 어닐링 온도를 제어하는 딥 강화학습(DRL) 기반 프레임워크인 DR-ALNS를 제안한다. 이는 IJCAI AI4TSP 경연대회에서의 시간에 따라 변하는 오리엔티어링 문제(스토캐스틱 가중치 및 시간 창을 포함)에서 기존의 ALNS, 베이지안 최적화된 ALNS, 그리고 최신 DRL 방법들을 모두 능가하며, 훨씬 적은 훈련 데이터와 계산 비용으로 더 나은 해를 도출한다.

ABSTRACT

The Adaptive Large Neighborhood Search (ALNS) algorithm has shown considerable success in solving combinatorial optimization problems (COPs). Nonetheless, the performance of ALNS relies on the proper configuration of its selection and acceptance parameters, which is known to be a complex and resource-intensive task. To address this, we introduce a Deep Reinforcement Learning (DRL) based approach called DR-ALNS that selects operators, adjusts parameters, and controls the acceptance criterion throughout the search. The proposed method aims to learn, based on the state of the search, to configure ALNS for the next iteration to yield more effective solutions for the given optimization problem. We evaluate the proposed method on an orienteering problem with stochastic weights and time windows, as presented in an IJCAI competition. The results show that our approach outperforms vanilla ALNS, ALNS tuned with Bayesian optimization, and two state-of-the-art DRL approaches that were the winning methods of the competition, achieving this with significantly fewer training observations. Furthermore, we demonstrate several good properties of the proposed DR-ALNS method: it is easily adapted to solve different routing problems, its learned policies perform consistently well across various instance sizes, and these policies can be directly applied to different problem variants.

연구 동기 및 목표

• 정적 파라미터 조정과 휴리스틱 선택의 한계를 해결하기 위해, 시행착오에 의존하고 동적 탐색 상태에 적응하지 못하는 기존의 Adaptive Large Neighborhood Search(ALNS)의 문제점을 해결한다.
• 문제에 종속되지 않은 온라인 학습 프레임워크를 개발하여, 탐색 중에 ALNS 연산자와 수용 기준을 동적으로 구성함으로써 해 품질을 향상시킨다.
• ALNS 파라미터에 대한 광범위한 초모수 조정과 그리드 또는 무작위 탐색과 같은 비용이 많이 드는 최적화 방법에 대한 의존도를 줄인다.
• 재훈련이 최소한으로 필요한 효율적이고 일반화 가능한 정책 학습을 가능하게 하여, 다양한 문제 크기 간에 전이 가능하게 한다.
• 해 품질과 훈련 효율성 측면에서 기존의 전통적 ALNS 설정과 종단 간 딥 러닝 기반 베이스라인을 모두 능가한다.

제안 방법

• 딥 Q네트워크(DQN) 에이전트는 현재 탐색 상태에 기반해 ALNS의 파괴 및 복구 연산자를 선택하며, 해 품질 향상에 기반한 보상 신호를 사용한다.
• DRL 에이전트는 동시에 ALNS의 두 핵심 초모수인 파괴 심각도(해를 얼마나 파괴할지 제어)와 시뮬레이티드 어닐링 온도(더 나쁜 해를 수용할지 제어)를 제어한다.
• 상태 표현은 연산자 성능 이력, 현재 해 품질, 시간 창 및 스토캐스틱 이동 시간과 같은 문제 특화 기능을 포함한다.
• 에이전트는 문제 인스턴스 세트에 대해 강화학습을 통해 훈련되며, 탐색 과정에서 실시간으로 탐색과 이용의 균형을 이루는 법을 학습한다.
• 이 프레임워크는 문제에 종속되지 않게 설계되어 있으며, 상태 공간과 행동 공간을 정의하는 것 외에는 새로운 조합 최적화 문제(COP)에 대해 아키텍처 변경이 필요하지 않다.
• 훈련은 작은 인스턴스에서 수행되고, 일반화 능력은 더 크고 알려지지 않은 인스턴스에서 평가되어 전이 가능성 여부를 검증한다.

실험 결과

연구 질문

• RQ1 DRL 에이전트는 복잡한 조합 최적화 문제에서 실시간으로 ALNS 연산자와 파라미터를 효과적으로 선택하고 설정하여 해 품질을 향상시킬 수 있는가?
• RQ2 제안된 DR-ALNS 방법은 스트로케스틱이고 시간에 따라 변하는 라우팅 문제에서 기존의 ALNS와 베이지안 최적화로 튜닝된 ALNS에 비해 성능이 뛰어나게 되는가?
• RQ3 DRL 에이전트는 다양한 문제 크기 간에 일반화되어, 작은 인스턴스에서 학습한 모델이 더 큰 인스턴스로 전이 가능하게 되는가?
• RQ4 제안된 방법은 훨씬 적은 훈련 데이터와 계산 비용으로 종단 간 DRL 기반 베이스라인보다 더 나은 성능을 내는가?
• RQ5 온라인으로 적응적인 ALNS 파라미터 제어가 정적 또는 오프라인 튜닝된 설정에 비해 얼마나 더 뛰어난가?

주요 결과

• DR-ALNS는 테스트된 모든 인스턴스 크기(20, 50, 100명의 고객)에서 기존의 ALNS와 베이지안 최적화로 튜닝된 ALNS를 모두 능가하여 평균적으로 더 나은 해를 찾았다.
• DRL 기반 베이스라인인 Rise_up와 Ratel보다도 뛰어난 성능을 내었으며, 이는 0.5~10시간의 훈련 시간으로 달성되었고, 베이스라인은 수일 또는 48시간이 소요되었다.
• DR-ALNS는 강력한 일반화 능력을 보였으며, 20노드 인스턴스에서 훈련한 모델가 50노드 및 100노드 인스턴스에서 더 나은 성능을 내었다.
• 더 큰 인스턴스(50 및 100노드)에서 훈련한 모델는 더 작은 인스턴스(20 및 50노드)에 배포되었을 때 성능이 향상되어, 강력한 전이 가능성 여부를 입증했다.
• 추론 시간이 약간 증가했음에도 불구하고(예: 100노드 인스턴스에서 208초), DR-ALNS는 수렴 곡선을 통해 기존의 베이스라인 ALNS보다 더 나은 해를 더 빨리 찾는 것으로 나타났다.
• 훈련 과정은 계산적으로 효율적이었으며, 표준 CPU에서 0.5~10시간만에 수행되었고, 종단 간 방법은 수일이 소요되었기에, 확장성 측면에서 뛰어났다.