[논문 리뷰] Deep Optimisation: Solving Combinatorial Optimisation Problems using Deep Neural Networks

J R Caldwell, Richard A. Watson외 2명|arXiv (Cornell University)|2018. 11. 02.

Metaheuristic Optimization Algorithms Research참고 문헌 24인용 수 10

한 줄 요약

이 논문은 조합 최적화 문제의 진화적 탐색에서 변이 연산자를 동적으로 조정하기 위해 딥 신경망(DNN)을 사용하는 새로운 방법인 딥 최적화(DO)를 소개한다. 계층적 문제 구조를 단계별 학습 과정을 통해 학습함으로써, DO는 깊고 고차원의 종속성을 가지는 문제들—예를 들어 파리티 모듈러 제약 문제와 TSP 인스턴스—에서 최신의 모델 구축 최적화 알고리즘을 능가하며, 더 높은 해의 품질과 더 빠른 수렴을 보여준다.

ABSTRACT

Deep Optimisation (DO) combines evolutionary search with Deep Neural Networks (DNNs) in a novel way - not for optimising a learning algorithm, but for finding a solution to an optimisation problem. Deep learning has been successfully applied to classification, regression, decision and generative tasks and in this paper we extend its application to solving optimisation problems. Model Building Optimisation Algorithms (MBOAs), a branch of evolutionary algorithms, have been successful in combining machine learning methods and evolutionary search but, until now, they have not utilised DNNs. DO is the first algorithm to use a DNN to learn and exploit the problem structure to adapt the variation operator (changing the neighbourhood structure of the search process). We demonstrate the performance of DO using two theoretical optimisation problems within the MAXSAT class. The Hierarchical Transformation Optimisation Problem (HTOP) has controllable deep structure that provides a clear evaluation of how DO works and why using a layerwise technique is essential for learning and exploiting problem structure. The Parity Modular Constraint Problem (MCparity) is a simplistic example of a problem containing higher-order dependencies (greater than pairwise) which DO can solve and state of the art MBOAs cannot. Further, we show that DO can exploit deep structure in TSP instances. Together these results show that there exists problems that DO can find and exploit deep problem structure that other algorithms cannot. Making this connection between DNNs and optimisation allows for the utilisation of advanced tools applicable to DNNs that current MBOAs are unable to use.

연구 동기 및 목표

• DNN을 모델 학습을 위한 것이 아니라 진화 알고리즘의 탐색 과정을 직접 지도하기 위해 사용함으로써 딥 러닝과 조합 최적화를 연결하고자 한다.
• 기존의 모델 구축 최적화 알고리즘(MBOAs)의 한계를 해결하고자 하며, 이는 얕은 모델에 의존하여 깊고 계층적인 문제 구조를 활용하지 못하기 때문이다.
• 기존의 MBOAs가 포착하지 못하는 복잡한 고차원 변수 종속성(예: 이원 이상의 종속성)을 DNN이 학습하고 활용할 수 있는지 조사하고자 한다.
• DNN에서 단계별 학습 방식이 최적화 문제의 깊은 문제 구조를 학습하고 활용하는 데 필수적임을 입증하고자 한다.
• 드롭아웃, 정규화, 고급 아키텍처와 같은 딥 러닝 도구들을 DO를 통해 조합 최적화에 확장함으로써, 일반화 및 탐색 효율성을 향상시키는 새로운 길을 열고자 한다.

제안 방법

• DO는 진화적 탐색에서 표준 변이 및 교배 연산자를 대체하기 위해 모델 기반의 변이 연산자로 딥 신경망을 통합한다.
• DNN은 고품질 해에서 변수 상관관계의 계층적 표현을 학습하기 위해 단계별로 학습되며, 지도 학습에서의 깊은 특징 학습을 모방한다.
• 가능한 해를 생성하기 위해 탐욕적 구성 히우리스틱을 사용한다: TSP 투어의 각 현재 위치에서 DNN이 연결 확률을 예측하고, 유효한 연결에 대해 최대값 연산을 통해 다음 위치를 선택한다.
• 모든 양의 연결이 소진된 후에는 타당한 위치를 무작위로 선택함으로써 타당성을 유지하면서도, 학습된 부분 투어를 보존하고 위치 배치의 유연성을 허용한다.
• DNN의 출력은 각 노드에 대한 연결 벡터로 해석되며, 양의 값은 TSP 투어에서 가능한 간선를 나타내고, 음의 값은 연결이 없음을 의미한다.
• 학습 및 탐색 중에 기본 변이 연산자로 위치 삽입 히우리스틱을 사용함으로써, 학습된 빌딩 블록을 유지하면서도 효과적인 해 공간 탐색이 가능해진다.

실험 결과

연구 질문

• RQ1 표준 MBOAs가 매우 어려운 문제로 간주되는 조합 최적화 문제에서 DNN을 사용하여 깊고 계층적인 문제 구조를 학습하고 활용할 수 있는가?
• RQ2 종단 간 학습 대비 단계별 학습 방식이 DNN이 깊은 문제 구조를 성공적으로 학습하고 활용하는 데 필수적인가?
• RQ3 현재의 MBOAs가 해결하지 못하는 고차원 종속성(예: 삼중 상호작용 또는 모듈러 상호작용)을 가진 문제들을 DO가 해결할 수 있는가?
• RQ4 DNN을 변이 연산자에 통합함으로써 TSP와 같은 벤치마크 문제에서 수렴 속도와 해의 품질이 크게 향상되는가?
• RQ5 DO는 비이진 표현 및 타당하지 않은 해 공간을 포함한 다양한 문제 유형으로 일반화 가능한가?

주요 결과

• DO는 최신의 MBOAs가 해결하지 못하는 고차원 종속성을 가지는 파리티 모듈러 제약 문제(MC parity)를 성공적으로 해결하였다.
• TSP 인스턴스에서 DO는 2-opt, 위치 스왑, 삽입 히우리스틱과 같은 국소 탐색 히우리스틱을 모두 능가하며, 다양한 문제 크기에서 10회의 실행 전부에서 전역 최적해를 찾았다.
• DO가 전역 최적해에 도달하기 위해 필요한 학습 시도 수는 리스타트 하이클라이머보다 크게 낮아, 문제 구조를 더 빠르게 이용하는 것으로 나타났다.
• 더 큰 TSP 인스턴스에서는 하이클라이머가 10,000회의 시도를 허용하더라도 DO는 강력한 성능 유지를 보이며, 문제 구조를 효율적으로 활용하는 것으로 나타났다.
• DNN의 단계별 학습이 필수적임을 입증하였으며, 종단 간 학습은 깊은 구조를 학습하지 못해 계층적 특징 학습의 중요성을 확인하였다.
• DO는 드롭아웃, 정규화와 같은 고급 딥 러닝 도구들을 최적화에 통합할 수 있게 하여, 일반화 및 탐색 효율성을 향상시키는 새로운 길을 열었다.