[논문 리뷰] A Bi-Level Framework for Learning to Solve Combinatorial Optimization on Graphs

Runzhong Wang, Zhigang Hua외 7명|arXiv (Cornell University)|2021. 06. 09.

Constraint Satisfaction and Optimization참고 문헌 64인용 수 16

한 줄 요약

이 논문은 조합 최적화 문제의 해 품질을 향상시키기 위해 정점 간 간선 추가/삭제를 통해 그래프 구조를 최적화하는 정책 네트워크(상위 수준)를 사용하는 이중 수준 강화 학습 프레임워크를 제안한다. 동시에 수정된 그래프에서 빠른 휴리스틱 솔버(하위 수준)를 활용한다. 이 방법은 DAG 스케줄링, 그래프 편집 거리, 해밀턴 순환 문제에서 전통적 휴리스틱과 단일 수준 학습 기반 모델을 모두 능가하며, 유사한 추론 비용으로 뛰어난 해 품질을 달성한다.

ABSTRACT

Combinatorial Optimization (CO) has been a long-standing challenging research topic featured by its NP-hard nature. Traditionally such problems are approximately solved with heuristic algorithms which are usually fast but may sacrifice the solution quality. Currently, machine learning for combinatorial optimization (MLCO) has become a trending research topic, but most existing MLCO methods treat CO as a single-level optimization by directly learning the end-to-end solutions, which are hard to scale up and mostly limited by the capacity of ML models given the high complexity of CO. In this paper, we propose a hybrid approach to combine the best of the two worlds, in which a bi-level framework is developed with an upper-level learning method to optimize the graph (e.g. add, delete or modify edges in a graph), fused with a lower-level heuristic algorithm solving on the optimized graph. Such a bi-level approach simplifies the learning on the original hard CO and can effectively mitigate the demand for model capacity. The experiments and results on several popular CO problems like Directed Acyclic Graph scheduling, Graph Edit Distance and Hamiltonian Cycle Problem show its effectiveness over manually designed heuristics and single-level learning methods.

연구 동기 및 목표

• 그래프에서의 조합 최적화(CO)에 있어 엔드 투 엔드 딥 러닝의 확장성과 모델 용량 제약을 해결하기 위해.
• 딥 모델의 훈련 복잡도를 줄이기 위해 CO 문제를 이중 수준 최적화 문제로 재정의하기 위해.
• 기존의 휴리스틱 솔버와 강화 학습을 통합하여 해 품질 향상과 훈련 안정성 향상을 위해.
• 비용이 많이 들거나 큰 행동 공간에서 불안정한 강화 학습 훈련을 피하는 일반화 가능한, 레이블이 없는 방법을 개발하기 위해.
• DAG 스케줄링, 그래프 편집 거리, 해밀턴 순환 문제를 포함한 다양한 CO 문제에 대해 효과성을 입증하기 위해.

제안 방법

• 프레임워크는 이중 수준 최적화를 사용한다: 상위 수준 강화 학습 에이전트가 그래프 구조를 수정하고, 하위 수준 휴리스틱이 수정된 그래프에서 CO 작업을 해결한다.
• 그래프 컨volution 네트워크(GCN)가 입력 그래프를 인코딩하고, 정책 네트워크는 ResNet 블록과 자기 어텐션을 사용하여 상태 표현을 생성한다.
• 근접 정책 최적화(PPO)는 희소 보상을 사용하여 상위 수준 에이전트를 훈련시키며, 휴리스틱 피드백 덕분에 단일 수준 RL보다 보상의 희소성이 낮아진다.
• 하위 수준 휴리스틱(예: LKH3, 최근접 이웃)은 환경의 일부로 통합되어 빠르고 안정적인 훈련을 가능하게 한다.
• 지식 기반 레이블이 필요 없으며, 오직 휴리스틱 결과와 PPO를 통한 보상 형태 조정에 의존한다.
• 모델 구성 요소는 표준이다: GCN는 그래프 인코딩을 위해, ResNet은 정책 및 가치 네트워크를 위해, 어텐션은 장거리 의존성을 위해 사용된다.

실험 결과

연구 질문

• RQ1 휴리스틱에 일부 해를 위임함으로써 이중 수준 프레임워크가 조합 최적화에서 딥 러닝 모델의 부담을 줄일 수 있는가?
• RQ2 강화 학습을 통해 그래프 구조를 수정하는 것이 엔드 투 엔드 학습 또는 고정된 휴리스틱보다 더 나은 해 품질을 낼 수 있는가?
• RQ3 제안된 방법이 재학습 없이 다양한 그래프 크기와 CO 문제 유형에 일반화 가능한가?
• RQ4 이중 수준 설계는 강화 학습 기반 CO 방법에서 흔한 희소 보상 문제를 어떻게 완화하는가?
• RQ5 단일 수준 학습 및 전통적 휴리스틱과 비교해 해 품질과 추론 효율성 사이의 상충 관계는 어떠한가?

주요 결과

• FHCP 벤치마크에서 PPO-BiHyb는 해밀턴 순환을 25% 발견했으며, LKH3-fast(0%)와 PPO-Single(0%)를 모두 능가했다. 이는 더 빠른 하위 수준 휴리스틱을 사용했음에도 불구하고 성능이 뛰어나다는 것을 의미한다.
• FHCP-500/600에서 PPO-BiHyb는 TSP 목적함수 값 6.7 ± 14.0을 달성했으며, PPO-Single(9.5 ± 45.6)와 LKH3-accu(6.3 ± 13.0)보다 유의미하게 뛰어났다.
• 훈련용 그래프 크기 250–500에서 테스트 인스턴스 크기 500–600으로의 일반화 성능이 뛰어나, 강력한 제로샷 일반화 능력을 보였다.
• 추론 시간이 10배 더 길어도 PPO-Single(빔 폭 12)는 PPO-BiHyb에 뒤지며, 이는 이중 수준 설계가 샘플 효율성을 향상시킨다는 것을 시사한다.
• 랜덤-BiHyb 기준선(랜덤 그래프 수정)조차도 LKH3-fast를 능가했으며, 이는 단순히 그래프 수정만으로도 휴리스틱 성능 향상이 가능하다는 것을 보여준다.
• DAG 스케줄링과 그래프 편집 거리 문제에서 최신 기술 수준의 성능을 달성했으며, 수작업 휴리스틱과 단일 수준 학습 기반 모델을 모두 능가했다.