[논문 리뷰] Matrix Encoding Networks for Neural Combinatorial Optimization

Yeong‐Dae Kwon, Jinho Choo외 4명|arXiv (Cornell University)|2021. 06. 21.

Metaheuristic Optimization Algorithms Research참고 문헌 36인용 수 16

한 줄 요약

이 논문은 조합 최적화 문제에서 행렬 구조 관계 데이터를 인코딩하기 위해 설계된 딥러닝 아키텍처인 매트릭스 인코딩 네트워크(MatNet)를 소개한다. 두 항목 집합 간의 거리 또는 상호작용 행렬을 처리함으로써, 기존에 해결되지 않았던 문제들인 비대칭 TSP와 유연한 플로우 샷 스케줄링에 대해 엔드 투 엔드 신경망 솔버를 가능하게 하며, 기존의 MIP 및 메타휴리스틱 방법보다 뛰어난 near-optimal 해를 도출한다.

ABSTRACT

Machine Learning (ML) can help solve combinatorial optimization (CO) problems better. A popular approach is to use a neural net to compute on the parameters of a given CO problem and extract useful information that guides the search for good solutions. Many CO problems of practical importance can be specified in a matrix form of parameters quantifying the relationship between two groups of items. There is currently no neural net model, however, that takes in such matrix-style relationship data as an input. Consequently, these types of CO problems have been out of reach for ML engineers. In this paper, we introduce Matrix Encoding Network (MatNet) and show how conveniently it takes in and processes parameters of such complex CO problems. Using an end-to-end model based on MatNet, we solve asymmetric traveling salesman (ATSP) and flexible flow shop (FFSP) problems as the earliest neural approach. In particular, for a class of FFSP we have tested MatNet on, we demonstrate a far superior empirical performance to any methods (neural or not) known to date.

연구 동기 및 목표

• 조합 최적화 문제에서 이중 순서 없는 항목 집합 간의 상관관계를 나타내는 행렬 형식의 관계 데이터를 처리할 수 있는 신경망 모델의 부족을 해결하기 위해.
• 이전에 신경망으로 해결되지 않았던 고전적인 NP-난이도 문제들인 비대칭 TSP 및 유연한 플로우 샷 스케줄링에 대해 엔드 투 엔드 딥러닝 기반 솔버를 가능하게 하기 위해.
• MatNet 기반으로 학습된 신경 히우리스틱이 혼합정수계획법 및 메타휴리스틱을 포함한 기존 운영연구 방법보다 해의 질과 추론 속도 측면에서 뛰어나다는 것을 입증하기 위해.
• 서로 다른 두 항목 집합 간의 전반적인 구조적 관계를 포괄하는 순열 불변성, 확장성, 일반적인 목적의 인코더를 제공하기 위해.

제안 방법

• MatNet은 두 순서 없는 항목 집합 $\tilde{A}$ 및 $\tilde{B}$ 간의 쌍별 관계를 나타내는 행렬 $\mathbf{D} \in \mathbb{R}^{M \times N}$ 를 처리하며, 행과 열의 순열 불변성을 유지한다.
• 모델은 공유 가중치를 가진 이중 브랜치 인코더를 사용하여 양 측의 항목을 임베딩하며, 다중 헤드 어텐션과 피드포워드 네트워크를 통해 행렬 전역의 관계 정보를 집계한다.
• 항목의 상대적 순서를 처리하기 위해 학습 가능한 위치 인코딩을 적용하지만, 대칭적 집계를 통해 행 및 열의 순열 불변성을 유지한다.
• 최종적으로 $\tilde{A}$ 및 $\tilde{B}$ 내 항목의 표현은 엔드 투 엔드 훈련에서 탐욕적 해 구축을 위한 강화학습 정책 네트워크의 입력으로 사용된다.
• 다중 특징 행렬(예: $f > 1$)을 지원하기 위해 각 특징 채널을 별도로 처리한 후 융합함으로써 복잡한 관계를 모델링할 수 있다.
• 모델은 강화학습을 통해 정책 기반 강화학습 목표로 훈련되며, 스케줄링 문제에서는 제작시간 최소화, TSP 문제에서는 순회 길이 최소화를 최적화한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 조합 최적화 문제에서 두 순서 없는 항목 집합 간의 쌍별 관계를 나타내는 행렬 구조 데이터를 효과적으로 인코딩할 수 있는가?
• RQ2 MatNet은 비대칭 TSP 및 유연한 플로우 샷 스케줄링과 같은 고전적인 NP-난이도 문제에서 엔드 투 엔드 신경망 솔버를 통해 최첨단 성능을 달성할 수 있는가?
• RQ3 MatNet 기반으로 학습된 신경 히우리스틱은 혼합정수계획법 및 메타휴리스틱을 포함한 전통적인 운영연구 방법보다 해의 질과 추론 속도 측면에서 뛰어나게 되는가?
• RQ4 밀도가 높고 고정된 행렬 구조를 가진 문제에서 MatNet은 얼마나 잘 일반화되는가, 특히 다양한 문제 인스턴스와 스케일에 대해?

주요 결과

• 유연한 플로우 샷 스케줄링(FFSP) 문제에서 MatNet 기반 강화학습은 100개 작업 인스턴스에서 평균 제작시간 89.7을 기록했으며, 600초 이내에 타당한 해를 찾지 못한 MIP 및 메타휴리스틱을 포함한 모든 전통적 방법보다 뛰어난 성능을 보였다.
• 50개 작업 FFSP 인스턴스에서 MatNet은 평균 제작시간 49.6을 기록했으며, 인스턴스당 추론 시간은 단 8분이었고, CPLEX는 600초 타임아웃 설정 시 6시간이 소요되었다.
• 비대칭 TSP 문제에서 MatNet은 100개 도시 인스턴스에서 평균 순회 길이 51.5를 기록했으며, 추론 시간은 단 14초로 기존 기준 방법보다 훨씬 빠르게 작동했다.
• 최대 48시간의 시간 예산을 제공한 상황에서도 CPLEX 및 PSO와 같은 전통적 OR 방법은 MatNet의 성능을 뛰어넘지 못했으며, 이는 MatNet의 해의 질에서의 열등함을 확인시켰다.
• 20개 작업 FFSP 인스턴스에서 MatNet 기반 모델은 최적해와의 격리율이 27.3%였으며, 128배의 데이터 증강을 통해 25.4%로 향상되어 강력한 확장성과 일반화 능력을 입증했다.
• 모델의 성능는 다양한 문제 크기와 설정에서 뛰어난 일관성을 보였으며, 런타임과 해의 질 측면에서 히우리스틱 및 정확한 방법 모두에 비해 우월했다.