[논문 리뷰] Parallel Genetic Algorithm to Solve Traveling Salesman Problem on MapReduce Framework using Hadoop Cluster

Harun Rasit Er, Nadia Erdoğan|arXiv (Cornell University)|2014. 01. 24.

Metaheuristic Optimization Algorithms Research참고 문헌 7인용 수 6

한 줄 요약

이 논문은 Hadoop MapReduce 프레임워크에 구현된 병렬 유전 알고리즘(PGA)을 제안하여 NP-난이도의 여행-salesman 문제(TSP)를 해결한다. 유전 알고리즘의 개체군 진화를 Hadoop 클러스터에 분산시킴으로써 수렴 속도를 가속화하고 확장성을 향상시켜, 특히 대규모 TSP 인스턴스에서 순차적 GA에 비해 더 빠른 계산 시간과 향상된 해 품질을 달성한다.

ABSTRACT

Traveling Salesman Problem (TSP) is one of the most common studied problems in combinatorial optimization. Given the list of cities and distances between them, the problem is to find the shortest tour possible which visits all the cities in list exactly once and ends in the city where it starts. Despite the Traveling Salesman Problem is NP-Hard, a lot of methods and solutions are proposed to the problem. One of them is Genetic Algorithm (GA). GA is a simple but an efficient heuristic method that can be used to solve Traveling Salesman Problem. In this paper, we will show a parallel genetic algorithm implementation on MapReduce framework in order to solve Traveling Salesman Problem. MapReduce is a framework used to support distributed computation on clusters of computers. We used free licensed Hadoop implementation as MapReduce framework.

연구 동기 및 목표

• 대규모 TSP 인스턴스를 해결하는 데 있어 순차적 유전 알고리즘의 계산 비효율성을 해결하기 위해.
• 분산 실행을 위한 유전적 계산의 확장성에 기반한 Hadoop MapReduce 프레임워크의 잠재력을 활용하기 위해.
• 클러스터 노드 간의 개체군 진화를 효율적으로 관리할 수 있는 병렬 유전 알고리즘을 설계하고 구현하기 위해.
• 대규모 TSP 데이터셋에서 제안된 PGA의 성능을 해 품질 및 실행 시간 측면에서 평가하기 위해.
• 유전 알고리즘과 Hadoop 같은 빅데이터 프레임워크를 조합하여 조합 최적화 문제에 적용할 수 있는 타당성과 이점을 입증하기 위해.

제안 방법

• 제안된 방법은 Hadoop MapReduce 프레임워크를 사용하여 클러스터의 여러 노드에 유전 알고리즘의 개체군을 분산한다.
• 각 MapReduce 작업은 반복적으로 부분 개체군에 대해 선택, 교차, 변이 연산을 병렬로 수행한다.
• Map 단계에서는 부모 해를 대상으로 유전 연산자를 적용하여 새로운 후손을 생성하고, Reduce 단계에서는 새로운 개체군의 적합도를 집계하고 평가한다.
• 적합도 평가는 총 순행 거리에 기반하며, 더 짧은 순행 거리를 가진 해가 더 높은 적합도 점수를 받는다.
• 알고리즘은 안정 상태 교체 전략을 사용하여 세대 간에 최상의 해만 유지된다.
• 구현은 무료 Hadoop 배포판을 기반으로 하며, 데이터 저장에는 표준 HDFS를, 자원 관리에는 YARN을 사용한다.

실험 결과

연구 질문

• RQ1 MapReduce 프레임워크 기반의 병렬 유전 알고리즘이 대규모 TSP 인스턴스를 효과적으로 확장하여 해결할 수 있는가?
• RQ2 제안된 PGA의 성능은 해 품질과 수렴 속도 측면에서 순차적 GA와 비교해 어떻게 다른가?
• RQ3 데이터 파artitioning과 로드 밸런싱은 분산 GA 실행의 효율성에 어떤 영향을 미치는가?
• RQ4 Hadoop 기반의 PGA는 계산 시간을 얼마나 줄이며, 해 품질을 유지하거나 향상시키는가?
• RQ5 알고리즘은 크기가 다른 다양한 TSP 벤치마크 인스턴스에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 PGA는 특히 대규모 TSP 인스턴스에서 순차적 GA에 비해 더 빠른 수렴 속도와 더 짧은 실행 시간을 달성했다.
• 순행 거리로 측정한 해 품질은 순차적 GA와 비교해 일관되게 우수하거나 유사했으며, 더 큰 문제 집합에서 개선이 관찰되었다.
• MapReduce 기반의 구현은 클러스터 크기가 증가함에 따라 효과적으로 확장되었으며, 더 큰 개체군에서는 계산 시간에 대해 선형적인 스피드업을 보였다.
• 분산 계산을 통해 단일 머신 기반 순차적 접근으로는 처리가 어려운 더 큰 TSP 인스턴스를 처리할 수 있었다.
• 프레임워크는 다양한 TSP 벤치마크에서 뛰어난 안정성을 보였으며, 제한된 컴퓨팅 자원 조건에서도 높은 해 품질을 유지했다.
• 구현은 Hadoop의 장애 내성 및 데이터 로컬리티 기능을 성공적으로 활용하여 분산 실행의 신뢰성을 향상시켰다.