[논문 리뷰] Parallel Local Search: Experiments with a PGAS-based programming model

Rui Machado, Salvador Abreu외 1명|arXiv (Cornell University)|2013. 01. 31.

Constraint Satisfaction and Optimization참고 문헌 13인용 수 5

한 줄 요약

이 논문은 GPI 프로그래밍 모델을 사용하여 PGAS 기반의 병렬화된 적응형 탐색(Adaptive Search) 국소 탐색 알고리즘을 제안하며, 대규모 시스템에서 효율적이고 확장 가능한 실행을 가능하게 한다. 유망한 설정을 지능적으로 전파함으로써 일부 벤치마크에서 최대 2배의 성능 향상을 달성하며, 성능 향상은 이웃 밀도 및 局소 최소값 수와 같은 문제 특성에 크게 의존한다.

ABSTRACT

Local search is a successful approach for solving combinatorial optimization and constraint satisfaction problems. With the progressing move toward multi and many-core systems, GPUs and the quest for Exascale systems, parallelism has become mainstream as the number of cores continues to increase. New programming models are required and need to be better understood as well as data structures and algorithms. Such is the case for local search algorithms when run on hundreds or thousands of processing units. In this paper, we discuss some experiments we have been doing with Adaptive Search and present a new parallel version of it based on GPI, a recent API and programming model for the development of scalable parallel applications. Our experiments on different problems show interesting speedups and, more importantly, a deeper interpretation of the parallelization of Local Search methods.

연구 동기 및 목표

• 대규모 다핵 아키텍처에서 국소 탐색 알고리즘의 확장성 한계를 해결하기 위해.
• 다양한 문제 특성이 병렬 국소 탐색의 성능에 미치는 영향을 조사하기 위해.
• GPI 프로그래밍 모델을 사용하여 Adaptive Search에 새로운 통신 및 로드 밸런싱 전략을 설계하고 평가하기 위해.
• 다양한 조합 최적화 문제를 대상으로 한 실험 결과를 바탕으로 국소 탐색 방법의 병렬화에 대한 깊이 있는 통찰을 제공하기 위해.

제안 방법

• 저자는 GPI(Global address space Programming Interface) API를 사용하여 PGAS 기반 모델인 one-sided, 비차단 메모리 작업을 지원하는 새로운 병렬 버전의 Adaptive Search 알고리즘을 구현하였다.
• 유망한 설정을 스레드 간 공유하여 협업 탐색을 가능하게 하는 새로운 통신 기법인 Propagate-Optimize-Collect (PoC)를 도입하였다.
• GPI의 one-sided 통신 및 RDMA 기반 네트워크 액세스는 CPU 간섭 없이 효율적인 원격 메모리 액세스를 가능하게 하여 확장성 향상과 동기화 오버헤드 감소를 이룬다.
• 각 스레드가 수신한 상태에서 독립적으로 탐색함으로써 중복 작업을 방지하기 위해 고품질 설정을 선택적으로 전파한다.
• 멀티코어 아키텍처를 효율적으로 활용하기 위해 Manycore Threading Package(MCTP)를 통해 스레드 풀을 사용한다.
• 실험은 마법의 정사각형(Magic Square), 코스타스 배열(Costas Array), 올 인터벌 시리즈(All Interval Series) 세 가지 벤치마크 문제에서 수행되었으며, 독립적 다중워크 및 TDO 변종과의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 다양한 구조적 특성을 지닌 조합 최적화 문제에서 병렬 국소 탐색의 성능는 어떻게 변화하는가?
• RQ2 PoC를 통한 설정 전파가 국소 탐색 알고리즘의 확장성과 스피드업에 미치는 영향은 무엇인가?
• RQ3 이웃 밀도, 局소 최소값 수, 부분적 리셋 등의 특성이 협업 기반 병렬화의 효과성에 미치는 영향은 무엇인가?
• RQ4 GPI 프로그래밍 모델은 최소한의 동기화 오버헤드로 확장 가능하고 고성능의 국소 탐색을 효과적으로 지원할 수 있는가?
• RQ5 로드 밸런싱과 부재 중복 측면에서 독립적 탐색 전략과 설정 공유 전략 간의 상충 관계는 무엇인가?

주요 결과

• 마법의 정사각형 문제에서는 이웃이 밀도가 높고 局소 최소값 수가 적어 PoC 변종이 최대 2배의 성능 향상을 달성하였다. 이는 효과적인 협업 탐색이 가능했기 때문이다.
• 코스타스 배열 문제에서는 높은 局소 최소값 수와 희박한 이웃으로 인해 중복 작업이 발생하고 설정 전파의 이점이 제한되어 PoC 변종의 성능이 열 劣화되었다.
• 올 인터벌 시리즈 문제에서는 핵 수가 적을 경우 오버헤드로 인해 PoC가 열 劣화되었지만, 스케일이 증가함에 따라 성능 향상이 나타나, 다양화를 통한 병렬 비용의 분할 상쇄 효과가 나타났다.
• TDO 변종은 코스타스 배열 문제에서 더 나은 확장성을 보였으며, 코어 수 증가로 인해 더 넓은 탐색 공간을 커버할 수 있었고 과도한 중복은 피했다.
• 성능 향상은 문제 구조와 강하게 상관관계가 있었으며, 이웃이 밀도가 높은 문제에서는 협업 탐색이 유리했고, 희박하거나 다중 국소 최소값이 많은 문제에서는 독립적 탐색이 유리했다.
• 본 연구는 효과적인 국소 탐색의 병렬화가 통신 전략과 문제 특성(예: 이웃 밀도 및 局소 최소값 빈도) 간의 일치가 필요하다는 것을 입증한다.