[논문 리뷰] Neural Simulated Annealing

Alvaro H. C. Correia, Daniel E. Worrall외 1명|arXiv (Cornell University)|2022. 03. 04.

Optimization and Packing Problems인용 수 5

한 줄 요약

이 논문은 경량의 등변성 신경망을 통해 제안 분포를 학습하는 강화학습 기반의 시뮬레이티드 어닐링 변종인 신경 시뮬레이티드 어닐링(Neural SA)을 소개한다. 시뮬레이티드 어닐링을 마르코프 결정 과정(MDP)으로 재정의함으로써, 다양한 조합 최적화 문제에서 수렴 속도를 가속화하고 해의 품질을 향상시킨다. 기존의 시뮬레이티드 어닐링과 비교해 우수한 성능을 보이며, 표준 솔버와 유사하거나 이를 초월한다. 또한 학습 데이터보다 최대 40배 큰 문제에 대해 최소한의 계산 오버헤드로 일반화가 가능하다.

ABSTRACT

Simulated annealing (SA) is a stochastic global optimisation technique applicable to a wide range of discrete and continuous variable problems. Despite its simplicity, the development of an effective SA optimiser for a given problem hinges on a handful of carefully handpicked components; namely, neighbour proposal distribution and temperature annealing schedule. In this work, we view SA from a reinforcement learning perspective and frame the proposal distribution as a policy, which can be optimised for higher solution quality given a fixed computational budget. We demonstrate that this Neural SA with such a learnt proposal distribution, parametrised by small equivariant neural networks, outperforms SA baselines on a number of problems: Rosenbrock's function, the Knapsack problem, the Bin Packing problem, and the Travelling Salesperson problem. We also show that Neural SA scales well to large problems - generalising to significantly larger problems than the ones seen during training - while achieving comparable performance to popular off-the-shelf solvers and other machine learning methods in terms of solution quality and wall-clock time.

연구 동기 및 목표

• 수동적인 초모수 조정, 특히 이웃 제안 분포와 온도 스케줄링에 대한 도전에 대응하기 위해.
• 비용이 많이 드는 엔드 투 엔드 신경망 아키텍처에 의존하지 않고도 조합 최적화 문제의 수렴 속도와 해의 품질을 향상시키기 위해.
• 학습 중에 관찰하지 못한 더 큰 문제 인스턴스로까지 학습된 정책의 일반화를 가능하게 하기 위해.
• 고전적 시뮬레이티드 어닐링의 이론적 수렴 보장을 유지하면서도 학습 가능한 구성요소를 통해 성능을 향상시키기 위해.
• 실세계 최적화 문제에 널리 적용 가능하고 경량이며 빠르게 학습되는 솔버를 제공하기 위해.

제안 방법

• 논문은 시뮬레이티드 어닐링을 마르코프 결정 과정(MDP)으로 재정의하여, 제안 분포를 강화학습을 통해 최적화할 수 있는 정책으로 간주한다.
• 소형의 등변성 신경망이 정책을 매개변수화하며, 현재 해 상태에 기반해 이동(예: TSP에서의 2-opt 교환)을 선택한다.
• 정책은 PPO나 진화 전략(ES)과 같은 정책 최적화 알고리즘을 사용해 훈련되며, 해의 품질 향상에 기반한 희박한 보상 구조를 사용한다.
• 메트로폴리스-하스팅스 수락 기준을 유지함으로써, 기존 시뮬레이티드 어닐링의 이론적 수렴 보장을 유지한다.
• 측면 정보에 조건을 줄 수 있으며, 짧은 롤아웃을 통해 작은 문제 인스턴스에서 훈련할 수 있어 더 큰 문제로의 일반화가 가능하다.
• 스텝당 계산 오버헤드는 O(N)이므로, 큰 N에 대해서도 확장 가능하고 효율적이다.

실험 결과

연구 질문

• RQ1 학습된 제안 분포가 다양한 최적화 문제에서 손으로 조정된 것보다 수렴 속도와 해의 품질 측면에서 뛰어나게 되는가?
• RQ2 작은 문제 인스턴스에서 훈련된 신경 정책이 훨씬 더 큰 인스턴스로 일반화되는 정도는 어떠한가?
• RQ3 강화학습을 시뮬레이티드 어닐링에 통합함으로써 이론적 수렴 보장이 유지되면서 성능 향상이 이루어지는가?
• RQ4 Neural SA의 성능은 솔루션 품질과 월클럭 시간 측면에서 최신 표준 솔버 및 다른 기계학습 기반 조합 최적화(ML4CO) 방법과 비교해 어떻게 되는가?
• RQ5 작은 파rameter 수를 가진 경량 신경망이 대규모 데이터나 복잡한 아키텍처 없이도 뛰어난 성능을 낼 수 있는가?

주요 결과

• Neural SA는 Rosenbrock의 함수, 배낭 문제, 배치 포장 문제, TSP를 포함한 모든 벤치마크 문제에서 기존 시뮬레이티드 어닐링보다 뛰어난 성능을 보였다. 초모수 조정도 최소한으로 이루어졌다.
• 모든 문제에서 전역 최소값에 몇 퍼센트 내외로 수렴했으며, 초모수를 광범위하게 조정한 최신 SA 변종과 견줄 만하거나 이를 초월했다.
• Neural SA는 학습에 사용된 인스턴스보다 최대 40배 큰 문제에 대해 효과적으로 일반화되었으며, 강력한 제로샷 일반화 능력을 보였다.
• Neural SA의 수락률은 고전적 기대치인 0.44를 초과했으며, 이는 더 나은 탐색 효율성을 시사한다.
• 학습은 파라미터 수가 수백 개에 불과하고 작은 인스턴스에서의 효과적인 일반화 덕분에 빠르게 이루어졌으며, PPO 기반 학습은 몇 분 내로, ES 기반 학습은 몇 시간 내로 완료되었다.
• TSP 문제에서 PPO는 일반화 성능에서 ES를 앞섰지만, ES는 탐욕적 추론 상황에서 더 뛰어난 강건성을 보였다. 두 방법 모두 기존 시뮬레이티드 어닐링보다 더 높은 수락률을 기록했다.