[논문 리뷰] Constrained Combinatorial Optimization with Reinforcement Learning

Rubén Solozabal, Josu Ceberio외 1명|arXiv (Cornell University)|2020. 06. 22.

Scheduling and Optimization Algorithms참고 문헌 34인용 수 14

한 줄 요약

이 논문은 제약 조건이 있는 조합 최적화 문제를 완전 관측 가능한 제약 마르코프 결정 과정(CMDP)으로 모델링하여, 보상 함수에 페널티 신호를 통합함으로써 타당한 해에 수렴하도록 에이전트를 이끄는 강화학습 프레임워크를 제안한다. 이 방법은 기존 히ュ리스틱, 메타히ュ리스틱, OR-Tools의 CP-SAT와 같은 제약 프로그래밍 솔버보다 실시간 해의 품질에서 뛰어나며, 정확한 솔버가 비가역성이 발생하는 대규모 또는 복잡한 인스턴스에서 특히 두각을 나타낸다.

ABSTRACT

This paper presents a framework to tackle constrained combinatorial optimization problems using deep Reinforcement Learning (RL). To this end, we extend the Neural Combinatorial Optimization (NCO) theory in order to deal with constraints in its formulation. Notably, we propose defining constrained combinatorial problems as fully observable Constrained Markov Decision Processes (CMDP). In that context, the solution is iteratively constructed based on interactions with the environment. The model, in addition to the reward signal, relies on penalty signals generated from constraint dissatisfaction to infer a policy that acts as a heuristic algorithm. Moreover, having access to the complete state representation during the optimization process allows us to rely on memory-less architectures, enhancing the results obtained in previous sequence-to-sequence approaches. Conducted experiments on the constrained Job Shop and Resource Allocation problems prove the superiority of the proposal for computing rapid solutions when compared to classical heuristic, metaheuristic, and Constraint Programming (CP) solvers.

연구 동기 및 목표

• 일반적인 제약 조건이 있는 조합 최적화 문제, 특히 마스크 불가능한 제약 조건까지 포함하여 신경 조합 최적화(NCO)를 확장하는 것.
• 중간 상태 표현을 활용해 반복적으로 해를 구성하는 강화학습 접근법을 개발하여 해의 품질을 향상시키는 것.
• 정확한 솔버가 너무 느려서는 안 되는 대규모 문제에 대해 빠르고 near-optimal한 해를 제공하는 것.
• 작업 스케줄링 및 가상 리소스 할당과 같은 실제 운영 연구 문제에서 이 방법의 강건성과 확장성을 입증하는 것.

제안 방법

• 제약 조건이 있는 조합 최적화 문제를 완전 관측 가능한 제약 마르코프 결정 과정(CMDP)으로 재구성하여 중간 상태 기반 순차적 의사결정을 가능하게 한다.
• 페널티 계수를 통해 제약 위반을 보상 함수에 통합함으로써, 행동 공간 마스킹이 필요 없이 타당한 정책을 학습할 수 있도록 한다.
• 포인터 네트워크 또는 트랜스포머 기반 아키텍처를 사용하여 상태에 따라 결정되는 행동 선택을 고려한 행동 시퀀스로 해를 생성한다.
• 에이전트의 정책을 누적 보상과 페널티 기반으로 업데이트하기 위해 액터-크리틱 강화학습 설정을 사용하여 정책을 훈련한다.
• 메모리 기반 아키텍처를 피하기 위해 전체 상태 관측성을 활용함으로써, 시퀀스-투-시퀀스 모델 대비 일반화 능력과 성능을 향상시킨다.
• 훈련 안정성 향상과 해 품질 향상을 위해 커리큘럼 학습 및 샘플링 전략(예: RL_S(40))을 적용한다.

실험 결과

연구 질문

• RQ1 마스크 가능한 제약 조건을 초월하여 일반적인 제약 조건이 있는 조합 최적화 문제에 강화학습을 효과적으로 적용할 수 있는가?
• RQ2 행동 공간 마스킹 대비 보상 함수에 페널티 신호를 통합하는 것이 해의 품질과 타당성 측면에서 어떻게 비교되는가?
• RQ3 CMDP 기반 딥 강화학습 모델이 실시간 해 생성에서 기존 히ュ리스틱 및 CP 솔버를 능가할 수 있는가?
• RQ4 문제 크기와 제약 조건의 복잡성이 증가함에 따라 모델의 성능은 어떻게 변화하는가?
• RQ5 구조적 특성이 서로 다른 다양한 문제 인스턴스 간에 모델의 일반화 능력은 어느 정도인가?

주요 결과

• 강화학습 모델은 작업 스케줄링 문제와 가상 리소스 할당 문제 모두에서 기존 히ュ리스틱 및 메타히ュ리스틱보다 우수한 성능을 보이며, 더 낮은 최적성 갭을 달성했다.
• JSP10x10 및 JSP15x15에서 RL_S(40) 버전은 모든 다른 히ュ리스틱 및 메타히ュ리스틱보다 낮은 최적성 갭을 기록했지만, OR-Tools의 CP-SAT 솔버에는 여전히 뒤지지 않았다.
• JSP25x25에서 OR-Tools 솔버는 유사한 해 품질에 도달하기 위해 RL 모델보다 수천 배 이상 더 많은 시간이 소요되었으며, 이는 RL 모델의 실시간 성능 우수성을 강력하게 입증한다.
• 가상 리소스 할당 문제에서는 RL 모델이 항상 최적에 가까운 할당을 생성했으며, 유전 알고리즘보다 뛰어나고, 더 큰 인스턴스에서는 CP-SAT 성능을 matching하거나 초월했다.
• 모델는 다양한 문제 인스턴스에서 해 품질의 변동성이 낮아 안정적인 일반화 능력을 보였으며, 강건성을 입증했다.
• 모델는 문제 크기 간에 잘 일반화되었지만, 문제 크기가 커질수록 성능 격차가 커져 확장성 문제의 여전히 도전 과제임을 시사했다.