[논문 리뷰] Efficient Active Search for Combinatorial Optimization Problems

André Hottung, Yeong‐Dae Kwon외 1명|arXiv (Cornell University)|2021. 06. 09.

Metaheuristic Optimization Algorithms Research참고 문헌 28인용 수 27

한 줄 요약

세 가지 효율적인 활성 탐색(EAS) 전략을 제안하여 검색 중 모델 파라미터의 하위 집합만 업데이트하고, TSP, CVRP, JSSP에 대한 ML 기반 구성 방법의 성능을 향상시키며 종종 최첨단 ML 방법과 때때로 LKH3를 능가한다.

ABSTRACT

Recently numerous machine learning based methods for combinatorial optimization problems have been proposed that learn to construct solutions in a sequential decision process via reinforcement learning. While these methods can be easily combined with search strategies like sampling and beam search, it is not straightforward to integrate them into a high-level search procedure offering strong search guidance. Bello et al. (2016) propose active search, which adjusts the weights of a (trained) model with respect to a single instance at test time using reinforcement learning. While active search is simple to implement, it is not competitive with state-of-the-art methods because adjusting all model weights for each test instance is very time and memory intensive. Instead of updating all model weights, we propose and evaluate three efficient active search strategies that only update a subset of parameters during the search. The proposed methods offer a simple way to significantly improve the search performance of a given model and outperform state-of-the-art machine learning based methods on combinatorial problems, even surpassing the well-known heuristic solver LKH3 on the capacitated vehicle routing problem. Finally, we show that (efficient) active search enables learned models to effectively solve instances that are much larger than those seen during training.

연구 동기 및 목표

• Bello 등 활성 탐색의 높은 계산비용을 효율적인 대안으로 제시하여 동기를 부여하고 해결책을 제시한다.
• 테스트 시간 탐색 중에 모델 파라미터의 하위 집합만 업데이트하기 위한 세 가지 전략을 개발한다.
• EAS 변형이 여러 조합 최적화 문제에서 솔루션 품질과 일반화를 향상시킴을 보여준다.
• CVRP 및 JSSP에서 상태의 예측 솔버를 능가하고 강력한 휴리스틱(LKH3)보다도 좋을 수 있음을 보여준다.

제안 방법

• 세 가지 EAS 변형을 정의한다: 임베딩 업데이트(EAS-Emb), 추가 레이어 업데이트(EAS-Lay), 표 업데이트(EAS-Tab).
• 각 변형은 검색 중에 나머지 모델을 고정하고 인스턴스별 소형 구성을 업데이트한다.
• 업데이트를 안내하기 위해 RL 및 모방 학습 손실을 사용한다: REINFORCE 기반의 L_RL과 incumbent 최적 해의 모방에서 오는 L_IL을 결합하여 L_RIL = L_RL + λ L_IL로 정의한다.
• EAS-Emb의 경우: 인스턴스 임베딩의 부분 집합에 대해 기울기로 업데이트를 수행한다; EAS-Lay의 경우: 인스턴스별 잔차 레이어를 삽입하고 그 가중치를 학습한다; EAS-Tab의 경우: 역전파 없이 행동 확률에 영향을 미치는 룩업 테이블을 조정한다.
• TSP(POMO 기반), CVRP(POMO 기반), JSSP(L2D 기반)에서 평가하고 Concorde, LKH3, 그리고 여러 ML 기초선과 비교한다.

실험 결과

연구 질문

• RQ1 효율적인 활성 탐색(일부 매개변수만 업데이트)이 전체 활성 탐색과 동등하거나 더 우수한 솔루션 품질을 달성할 수 있는가?
• RQ2 어떤 EAS 변형(Emb, Lay, Tab)이 TSP, CVRP, JSSP 전반에 걸쳐 런타임과 솔루션 품질 사이의 가장 좋은 트레이드오프를 제공하는가?
• RQ3 EAS 방법이 학습 중에 본 larger 인스턴스에 대한 일반화에 어떤 영향을 미치는가?
• RQ4 EAS 방법이 CVRP 및 JSSP에서 ML 구성 방법이 강력한 해결사(LKH3)보다 우수하도록 할 수 있는가?

주요 결과

문제	인스턴스 세트	n	방법	목표(평균)	최적/최고 대비 차이 (%)	소요 시간(벽)	메모
TSP	Testing (10k inst.)	100	Concorde	7.765	0.000%	82M	Exact solver; baseline
TSP	Testing (10k inst.)	100	LKH3	7.765	0.000%	8H	Heuristic solver; baseline
TSP	Testing (10k inst.)	100	POMO-Greedy	7.776	0.146%	1M	Greedy baseline from POMO family
TSP	Testing (10k inst.)	100	POMO-Sampling	7.770	0.074%	4H	Sampling baseline from POMO family
TSP	Testing (10k inst.)	100	Active Search	7.768	0.046%	5D	Original active search; high cost
TSP	Testing (10k inst.)	100	EAS-Emb	7.769	0.063%	5H	EAS embedding updates
TSP	Testing (10k inst.)	100	EAS-Lay	7.769	0.053%	7H	EAS added-layer updates
TSP	Testing (10k inst.)	100	EAS-Tab	7.768	0.048%	5H	EAS tabular updates
CVRP	Testing (10k inst.)	100	LKH3	15.65	0.00%	6D	Baseline LKH3 on CVRP
CVRP	Testing (10k inst.)	100	POMO-Greedy	15.76	0.76%	2M	Greedy baseline
CVRP	Testing (10k inst.)	100	POMO-Sampling	15.67	0.17%	7H	Sampling baseline
CVRP	Testing (10k inst.)	100	Active Search	15.63	-0.07%	8D	Original active search; slower
CVRP	Testing (10k inst.)	100	EAS-Emb	15.63	-0.08%	9H	EAS embedding updates
CVRP	Testing (10k inst.)	100	EAS-Lay	15.61	-0.23%	12H	EAS added-layer updates
CVRP	Testing (10k inst.)	100	EAS-Tab	15.62	-0.14%	8H	EAS tabular updates
JSSP	Testing (100 inst.)	10x10	OR-Tools	807.6	0.0%	37S	Baseline OR-Tools
JSSP	Testing (100 inst.)	10x10	L2D-Greedy	988.6	22.3%	20S	Baseline L2D greedy
JSSP	Testing (100 inst.)	10x10	L2D-Sampling	871.7	8.0%	8H	Sampling baseline
JSSP	Testing (100 inst.)	10x10	Active Search	854.2	5.8%	8H	Original active search
JSSP	Testing (100 inst.)	10x10	EAS-Emb	837.0	3.7%	7H	EAS embedding updates
JSSP	Testing (100 inst.)	10x10	EAS-Lay	859.6	6.5%	7H	EAS added-layer updates
JSSP	Testing (100 inst.)	10x10	EAS-Tab	860.2	6.5%	8H	EAS tabular updates

• EAS 변형은 전체 활성 탐색에 비해 런타임을 크게 단축하면서도 솔루션 품질을 유지하거나 향상시킨다.
• TSP에서 EAS-Emb, EAS-Lay, EAS-Tab은 Concorde/LKH3에 대한 간격이 활성 탐색과 비교되거나 더 나으며 실행 시간은 수 배 빠르다.
• CVRP에서 EAS-Lay는 테스트 인스턴스에서 모든 기초선(LKH3 포함)보다 우수한 성능을 보이며, EAS-Tab은 더 빠른 런타임으로 강한 성능을 달성하지만 α에 민감하여 일부 인스턴스에 대해 조정이 필요하다.
• JSSP에서 EAS-Emb가 EAS 변형 중 최상의 성능을 보이며 샘플링에 비해 간극을 크게 줄이고, EAS-Lay는 활성 탐색에 비해 경쟁력이 있으며, EAS-Tab은 더 큰 인스턴스에서 뒤처진다.
• 문제 전반에 걸쳐 EAS 접근법은 전체 모델 재학습 없이 효과적인 탐색 안내를 가능하게 하여 더 큰 인스턴스에 대한 일반화를 개선한다.