[논문 리뷰] Learning What to Defer for Maximum Independent Sets

Sungsoo Ahn, Younggyo Seo외 1명|ArXiv.org|2020. 06. 17.

Scheduling and Optimization Algorithms인용 수 5

한 줄 요약

이 논문은 큰 규모의 최대 독립 집합(MIS) 문제에 대한 확장성을 향상시키기 위해 에이전트가 다수의 단계에 걸쳐 정점의 결정을 유예할 수 있도록 허용함으로써 배치 처리가 가능한 요소별 선택을 가능하게 하는 딥 강화학습(DRL) 프레임워크인 학습 유예(Learning What to Defer, LwD)를 제안한다. LwD는 시간 제약 조건 하에서 CPLEX를 초월하고, 정수 이차계획법(IQP)이 실패하는 경우에도 여러 조합 최적화 문제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Designing efficient algorithms for combinatorial optimization appears ubiquitously in various scientific fields. Recently, deep reinforcement learning (DRL) frameworks have gained considerable attention as a new approach: they can automate the design of a solver while relying less on sophisticated domain knowledge of the target problem. However, the existing DRL solvers determine the solution using a number of stages proportional to the number of elements in the solution, which severely limits their applicability to large-scale graphs. In this paper, we seek to resolve this issue by proposing a novel DRL scheme, coined learning what to defer (LwD), where the agent adaptively shrinks or stretch the number of stages by learning to distribute the element-wise decisions of the solution at each stage. We apply the proposed framework to the maximum independent set (MIS) problem, and demonstrate its significant improvement over the current state-of-the-art DRL scheme. We also show that LwD can outperform the conventional MIS solvers on large-scale graphs having millions of vertices, under a limited time budget.

연구 동기 및 목표

• 기존 딥 강화학습(DRL) 솔버가 한 단계에 하나의 정점만 처리하는 탐욕적 방식으로 인해 발생하는 확장성 한계를 해결한다.
• 해결책 크기와 선형적으로 증가하는 계산 병목 현상을 해결하기 위해 다단계 적응형 결정을 가능하게 함으로써 DRL 솔버의 계산 병목 현상을 완화한다.
• 설문 전파와 국소 분해 가능성을 영감으로 받아, 정점의 포함 여부를 결정할 시점과 유예할 시점을 학습하는 DRL 프레임워크를 설계한다.
• 시간 제약 조건 하에서의 평가 성능 향상을 위해 훈련 중에 해의 다양성을 높이기 위해 새로운 다양화 보상 메커니즘을 도입한다.
• 제안된 방법이 수백만 개의 정점이 있는 대규모 그래프에서 기존의 히ュ리스틱 솔버와 기존 DRL 기반 베이스라인을 초월할 수 있음을 입증한다.

제안 방법

• 에이전트가 미결정 정점을 대상으로 독립 집합에 포함시키거나 결정을 유예할 수 있도록 하는 마르코프 결정 과정(MDP)으로 MIS 문제를 재정의한다.
• 에이전트가 즉각적인 결정을 생략할 수 있도록 허용하는 새로운 '유예' 동작을 도입하여, 다수 단계에 걸쳐 결정을 배치 처리할 수 있도록 한다.
• 결합된 정책을 가진 다중 에이전트 MDP 프레임워크를 설계하여 두 개의 해를 생성하고 그들의 이격도를 최대화하며, 해의 다양성을 유도하기 위해 ℓ₁ 기반의 다양성 보상 기반을 사용한다.
• 훈련 중에 중간 단계의 정점 상태 간의 큰 차이를 명시적으로 보상하는 해의 다양화 보너스를 적용하여 일반화 능력과 최종 해 품질을 향상시킨다.
• 에이전트를 커리큘럼 학습 기반의 액터-크리틱 강화학습 프레임워크로 훈련하여 점차 복잡도가 높아지는 그래프에 노출되도록 한다.
• 정점 특징과 국소 이웃 구조를 인코딩하기 위해 그래프 신경망(GNN)을 사용하여 에이전트가 국소 타당성과 전반적인 구조를 이해할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 DRL 에이전트는 대규모 MIS 문제 해결을 위해 정점의 결정을 유예함으로써 필요한 단계 수를 줄일 수 있는가?
• RQ2 결정 유예를 학습함으로써 탐욕적이고 한 단계에 하나의 정점만 처리하는 기존 DRL 기반 베이스라인 대비 수렴 속도 향상과 해 품질 향상이 이루어지는가?
• RQ3 결합된 에이전트의 해 간의 이격도를 최대화하는 다양화 보상 메커니즘이 일반화 능력과 시간 제약 조건 하에서의 성능 향상에 기여하는가?
• RQ4 제안된 LwD 프레임워크는 CPLEX가 정수 이차계획법(IQP)의 한계로 인해 실패하는 경우에도 대규모 그래프에서 기존의 전통적 솔버를 초월할 수 있는가?
• RQ5 LwD 프레임워크는 MIS를 넘어서 국소 분해 가능성이 있는 다른 조합 최적화 문제, 예를 들어 최대 가중치 독립 집합(MWIS), 보상 수령형 MIS(PCMIS), MAXCUT, 이징 모델 등에 일반화 가능한가?

주요 결과

• LwD는 에르되시-레니, 바라바시-알버트, SATLIB, 실생활 그래프를 포함한 모든 테스트된 그래프 유형에서 현재 최고 수준의 DRL 기반 베이스라인을 뛰어넘는 성능을 보였다.
• 시간 예산(즉, 최대 단계 수 T)이 증가할수록 LwD의 성능이 단조롭게 향상됨을 확인하여, 결정 유예가 해 품질 향상에 기여함을 입증했다.
• 제안된 다양화 보상은 엔트로피 정규화 대비 최종 해 간의 ℓ₁ 이격도가 유의미하게 큰 해를 생성함을 보여주었다.
• 5초 이내의 시간 제약 조건 하에서 LwD는 최대 가중치 독립 집합(MWIS), 보상 수령형 MIS(PCMIS), MAXCUT, 이징 모델 추론 문제에서 CPLEX를 초월하였다. 특히 CPLEX가 IQP 복잡도로 인해 실패하는 대규모 그래프에서 뚜렷한 성능 우위를 보였다.
• ER-[400,500] 그래프에서 CPLEX는 PCMIS, MAXCUT, 이징 문제에 대해 합리적인 해를 생성하지 못했지만, LwD는 일관되게 고품질의 해를 생성하였다.
• 다양화 보너스와 엔트로피 정규화를 결합한 조합이 최고의 성능을 보였으며, 이는 DRL 기반 솔버에서 탐색과 해의 다양성이 고품질 일반화를 위해 필수적임을 입증한다.