[논문 리뷰] Solving Optimization Problems through Fully Convolutional Networks: an Application to the Travelling Salesman Problem

Zhengxuan Ling, Xinyu Tao외 2명|arXiv (Cornell University)|2019. 10. 27.

Metaheuristic Optimization Algorithms Research참고 문헌 20인용 수 5

한 줄 요약

이 논문은 TSP 인스턴스를 이미지 유사 표현으로 변환함으로써 완전 컨volution 네트워크(FCN)를 사용하여 TSP 문제를 해결하는 새로운 접근법을 제안한다. 10개 도시 TSP 샘플로 훈련된 FCN은 타당 영역을 최적 해로 매핑하는 데 성공하며, 밀리초 수준의 추론 시간을 기록하고, 다양한 도시 수에 걸쳐 뛰어난 일반화 성능을 보이며 높은 전역 최적해 복원률을 달성한다.

ABSTRACT

In the new wave of artificial intelligence, deep learning is impacting various industries. As a closely related area, optimization algorithms greatly contribute to the development of deep learning. But the reverse applications are still insufficient. Is there any efficient way to solve certain optimization problem through deep learning? The key is to convert the optimization to a representation suitable for deep learning. In this paper, a traveling salesman problem (TSP) is studied. Considering that deep learning is good at image processing, an image representation method is proposed to transfer a TSP to an image. Based on samples of a 10 city TSP, a fully convolutional network (FCN) is used to learn the mapping from a feasible region to an optimal solution. The training process is analyzed and interpreted through stages. A visualization method is presented to show how a FCN can understand the training task of a TSP. Once the training is completed, no significant effort is required to solve a new TSP and the prediction is obtained on the scale of milliseconds. The results show good performance in finding the global optimal solution. Moreover, the developed FCN model has been demonstrated on TSP's with different city numbers, proving excellent generalization performance.

연구 동기 및 목표

• 딥 러닝이 TSP와 같은 조합 최적화 문제를 효과적으로 해결할 수 있는지 탐색하기 위해.
• 딥 러닝과 최적화 사이의 격차를 해소하기 위해 이산적인 TSP 인스턴스를 컨volution 신경망에 적합한 형식으로 변환하기 위해.
• 훈련 후 최소한의 추론 비용으로 근사 최적의 TSP 투어를 예측할 수 있는 일반화 가능한 모델을 개발하기 위해.
• FCN이 구조적인 최적화 작업을 해결하는 데 있어 훈련 동역학과 해석 가능성에 대해 분석하기 위해.

제안 방법

• 공간 인코딩을 사용하여 TSP 인스턴스를 컨볼루션 처리가 가능한 이미지 유사 격자로 표현하기 위해.
• 입력 표현에서 최적의 투어 시퀀스로의 매핑을 학습하기 위해 10개 도시 TSP 인스턴스 데이터셋으로 완전 컨볼루션 네트워크(FCN)를 훈련하기 위해.
• 네트워크 출력 특징 맵에서 유효한 TSP 투어를 생성하기 위해 미분 가능한 디코딩 전략을 사용하기 위해.
• 네트워크가 TSP 입력 공간 내의 구조적 패턴을 어떻게 학습하는지 이해하기 위해 시각화 기법을 활용하기 위해.
• 훈련된 모델을 다양한 크기의 TSP 인스턴스(10개 도시를 초과)에 적용하여 일반화 성능 평가하기 위해.
• 단계적 학습을 통한 훈련 최적화 및 수렴 행동 분석을 통해 모델 안정성 향상하기 위해.

실험 결과

연구 질문

• RQ1 이미지 유사 표현의 TSP 인스턴스로부터 최적의 TSP 투어를 예측할 수 있도록 완전 컨볼루션 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ2 훈련 세트에서 사용된 도시 수와 다른 도시 수를 가진 TSP 인스턴스에 대해 훈련된 FCN의 일반화 성능는 얼마나 우수한가?
• RQ3 학습된 표현을 시각화함으로써 FCN의 내부 추론 과정에 대해 어떤 통찰을 얻을 수 있는가?
• RQ4 기존의 최적화 알고리즘 대비 모델의 추론 속도는 어떻게 비교되는가?
• RQ5 이미지 표현이 네트워크가 TSP의 구조적 특성을 포착하는 데 어떤 역할을 하는가?

주요 결과

• FCN 모델은 특히 작은 인스턴스에서 전역 최적해 또는 근사 최적해를 매우 높은 정확도로 찾는다.
• 훈련 후 추론 시간은 밀리초 수준이므로 실시간 배포가 가능하다.
• 10개 도시 문제로만 훈련된 모델이 20개 도시까지의 TSP 인스턴스에 대해 잘 일반화된다.
• 시각화 결과 네트워크가 TSP 입력에서 군집 형성과 볼록 Hull과 같은 주요 구조적 특징을 학습하는 것으로 나타났다.
• 훈련 과정에서 명확한 단계가 관찰되어 입력 데이터 내에서 점차적으로 더 복잡한 패턴을 학습하는 것으로 나타났다.
• 이미지 기반 표현은 컴퓨터 비전에서 유도된 인덕티브 바이어스를 조합 최적화에 효과적으로 전이시킨다.