[논문 리뷰] Approximating meta-heuristics with homotopic recurrent neural networks

Alessandro Bay, Biswa Sengupta|arXiv (Cornell University)|2017. 09. 07.

Metaheuristic Optimization Algorithms Research참고 문헌 25인용 수 5

한 줄 요약

이 논문은 376개 노드로 구성된 도로 네트워크에서 A* 메타휴리스틱이 생성한 최단경로를 근사하기 위해 어텐션 메커니즘을 갖춘 순서에서 순서로(Sequence-to-Sequence, Seq2Seq) 순환 신경망을 제안한다. 모델이 순수한 RNN과 Q라우팅보다 우수한 성능을 보이며, 호모토피 연속성(homotopy continuation)을 통해 최적의 극점으로의 수렴을 향상시켜 해의 품질을 더욱 향상시킨다.

ABSTRACT

Much combinatorial optimisation problems constitute a non-polynomial (NP) hard optimisation problem, i.e., they can not be solved in polynomial time. One such problem is finding the shortest route between two nodes on a graph. Meta-heuristic algorithms such as $A^{*}$ along with mixed-integer programming (MIP) methods are often employed for these problems. Our work demonstrates that it is possible to approximate solutions generated by a meta-heuristic algorithm using a deep recurrent neural network. We compare different methodologies based on reinforcement learning (RL) and recurrent neural networks (RNN) to gauge their respective quality of approximation. We show the viability of recurrent neural network solutions on a graph that has over 300 nodes and argue that a sequence-to-sequence network rather than other recurrent networks has improved approximation quality. Additionally, we argue that homotopy continuation -- that increases chances of hitting an extremum -- further improves the estimate generated by a vanilla RNN.

연구 동기 및 목표

• 딥 러닝 기반 순환 신경망이 NP-완전 조합 최적화 문제, 특히 최단경로 계산 문제에 효과적으로 근사해낼 수 있는지 조사하기.
• 300개 이상의 노드를 가진 실제 그래프에서 다양한 시퀀스 모델링 아키텍처—특히 Seq2Seq RNN, 순수한 RNN, Q라우팅—의 성능 비교하기.
• RNN 기반 경로 근사의 최적화 과정과 수렴성 향상에 대해 호모토피 연속성이 미치는 영향 평가하기.
• 딥 러닝 모델이 대규모 그래프 문제에서 A*와 같은 메타휴리스틱 해를 근사할 때의 확장성과 정밀도 평가하기.

제안 방법

• 저자들은 376개의 노드와 455개의 간선을 가진 미네소타 주의 실제 도로 네트워크를 그래프 데이터셋으로 사용하며, 특정 지리적 범위로 제한한다.
• 최단경로는 유클리드 거리 히우리스틱을 사용한 A* 알고리즘을 통해 생성되며, 학습 및 평가의 기준값으로 사용된다.
• 순환 신경망(순수한 RNN, LSTM, GRU, 어텐션 기반 Seq2Seq 모델 포함)을 사용하여 소스 노드에서 목적지 노드로의 쌍을 예측 경로로 매핑하도록 학습한다.
• Q라우팅 알고리즘은 시간 소모와 향후 최소 비용을 기반으로 q-테이블 업데이트를 사용하는 강화학습 기반 기준선으로 구현된다.
• 호모토피 연속성은 열 방정정식을 통해 손실 함수를 점진적으로 변형시켜 최적화 과정의 형태를 왜곡함으로써 국소 최적점에서 전역 최적점으로의 수렴을 향상시킨다.
• 모델 성능 평가에는 예측 경로와 A*로 생성된 경로 간의 교차율을 사용하며, 어텐션 메커니즘이 시퀀스 모델링의 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 큰 그래프에서 A* 알고리즘에 의해 생성된 최단경로를 효과적으로 근사하기 위해 어텐션 기반 Seq2Seq 순환 신경망을 사용할 수 있는가?
• RQ2 Seq2Seq RNN의 성능은 순수한 RNN과 Q라우팅에 비해 A*-생성 경로 근사에서 어떻게 다른가?
• RQ3 호모토피 연속성은 RNN 기반 경로 근사의 최적화 과정과 해의 품질에 어느 정도 향상시키는가?
• RQ4 Seq2Seq 모델에 어텐션 메커니즘이 적용될 경우 기준값 A* 경로와의 경로 교차 정확도가 높아지는가?
• RQ5 RNN 기반 모델은 300개 이상의 노드를 가진 그래프에 대해 효과적으로 확장되며 높은 근사 정밀도를 유지할 수 있는가?

주요 결과

• 어 attention 기반 Seq2Seq 모델은 A*-생성 경로와 78%의 경로 교차율을 기록하여 다른 아키텍처보다 가장 높은 성능을 보였다.
• 확산 기반으로 학습된 순수한 RNN은 유효한 경로를 생성했지만 정확도가 낮아 아키텍처 개선 여지가 있음을 시사했다.
• 호모토피 연속성은 비凸(비볼록) 손실 곡면에서 국소 최적점으로의 수렴을 향상시켜 순수한 RNN의 추정 정밀도를 향상시켰다.
• 특히 장거리 시퀀스 처리에서 순수한 RNN과 Q라우팅에 비해 Seq2Seq 모델이 A* 경로 근사의 정밀도가 뛰어나다는 점을 입증했다.
• 이 연구는 깊이 있는 순환 신경망이 대규모 그래프에서 최단경로 계산과 같은 NP-완전 문제의 해를 효과적으로 근사할 수 있음을 확인했다.
• 어텐션 메커니즘과 호모토피 기반 최적화 전략을 조합할 경우 RNN 기반 경로 근사 모델의 신뢰성과 정확도가 크게 향상됨을 시사한다.