[논문 리뷰] Enabling Rapid Development of Parallel Tree Search Applications

Jeffrey P. Gardner, Andrew J. Connolly외 1명|ArXiv.org|2007. 09. 12.

Parallel Computing and Optimization Techniques참고 문헌 11인용 수 7

한 줄 요약

이 논문은 대규모 천문학적 데이터셋을 위한 병렬 트리 탐색 응용 프로그램의 빠른 개발을 가능하게 하는 고성능 라이브러리 Ntropy를 소개한다. 의도적 병렬 처리와 원격 메서드 호출(RMI) 및 지능형 데이터 캐싱을 조합함으로써 Ntropy는 병렬 프로그래밍 전문 지식이 적은 과학자들도 최소한의 노력으로 효율적이고 확장 가능한 트리 알고리즘을 작성할 수 있도록 하며, 순차적 구현 대비 6–30배의 성능 향상을 달성하고 분산 시스템에서 뛰어난 병렬 확장성을 보여준다.

ABSTRACT

Virtual observatories will give astronomers easy access to an unprecedented amount of data. Extracting scientific knowledge from these data will increasingly demand both efficient algorithms as well as the power of parallel computers. Nearly all efficient analyses of large astronomical datasets use trees as their fundamental data structure. Writing efficient tree-based techniques, a task that is time-consuming even on single-processor computers, is exceedingly cumbersome on massively parallel platforms (MPPs). Most applications that run on MPPs are simulation codes, since the expense of developing them is offset by the fact that they will be used for many years by many researchers. In contrast, data analysis codes change far more rapidly, are often unique to individual researchers, and therefore accommodate little reuse. Consequently, the economics of the current high-performance computing development paradigm for MPPs does not favor data analysis applications. We have therefore built a library, called Ntropy, that provides a flexible, extensible, and easy-to-use way of developing tree-based data analysis algorithms for both serial and parallel platforms. Our experience has shown that not only does our library save development time, it can also deliver excellent serial performance and parallel scalability. Furthermore, Ntropy makes it easy for an astronomer with little or no parallel programming experience to quickly scale their application to a distributed multiprocessor environment. By minimizing development time for efficient and scalable data analysis, we enable wide-scale knowledge discovery on massive datasets.

연구 동기 및 목표

• LSST 및 Pan-STARRS와 같은 설문에서 유도되는 대규모 다테라바이트 천문학적 데이터셋을 분석하는 데 증가하는 도전 과제를 해결하기 위해.
• 다수의 병렬 프로세서(MPP)에서 확장 가능한 병렬 트리 탐색 알고리즘을 작성하는 데 높은 개발 비용과 복잡도를 줄이기 위해.
• 병렬 프로그래밍 경험이 적은 천문학자들이 수천 개의 프로세서로 트리 기반 데이터 분석을 효율적으로 확장할 수 있도록 하기 위해.
• 알고리즘을 다시 작성하지 않고도 순차적 실행에서 병렬 실행으로의 원활한 전환을 제공하기 위해.
• 비정규적이고 트리 구조를 가진 데이터에 대해 공유 메모리 프로그래밍의 편리함과 분산 컴퓨팅의 확장성의 장점을 결합하기 위해.

제안 방법

• Ntropy 라이브러리는 원격 컴퓨팅 노드에서 사용자가 정의한 서브루틴을 실행하기 위해 원격 메서드 호출(RMI)을 사용하여 분산 메모리 시스템에서도 공유 메모리 유사 프로그래밍 모델을 제공한다.
• 사용자가 정의한 공유 비정규 데이터 구조(예: 그래프 및 트리)를 지원하며, 저수준 통신 세부 정보를 추상화한다.
• 트리 노드는 단일 '다음' 포인터를 통해 연속적이고 캐시 우수한 순회가 가능하도록 메모리에 배치되어 메모리 액세스를 최소화하고 순차적 성능을 향상시킨다.
• 원격 데이터 업데이트를 로컬에 누적하고 일괄적으로 플러시하여 트리 순회 중 통신 오버헤드를 줄이는 캐싱 메커니즘이 구현되어 있다.
• 분할 정복 트리 순회에 대한 프로세스 가상화를 통해 프로세서 간 로드 밸런싱을 실현하면서도 데이터 이동을 최소화한다.
• 선택적 병렬화 배포를 통합하여 개발자가 데이터 액세스 패턴과 성능 특성에 기반해 유익한 곳에만 병렬화를 적용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 프로그래밍 라이브러리가 천문학적 데이터를 위한 확장 가능한 병렬 트리 탐색 알고리즘 개발의 시간과 복잡도를 크게 줄일 수 있는가?
• RQ2 비정규적 데이터 구조에 대해 분산 메모리, 다수의 병렬 프로세서 플랫폼에서 공유 메모리 프로그래밍 추상화를 효과적으로 노출할 수 있는가?
• RQ3 알고리즘 재설계 없이도 고성능 순차적 성능과 강력한 병렬 확장성을 동시에 달성할 수 있는가?
• RQ4 원격 메서드 호출(RMI)이 트리 기반 데이터 분석에서 거대한 단위의 유연한 병렬 처리를 효과적으로 지원할 수 있는가?
• RQ5 지능형 캐싱 및 데이터 프리패칭 전략을 통해 분산 트리 순회에서의 통신 오버헤드를 얼마나 줄일 수 있는가?

주요 결과

• Ntropy는 n점 상관 함수 계산에 널리 사용되는 순차적 구현 'npt' 대비 6배에서 30배 빠른 성능을 달성했다.
• 라이브러리의 메모리 레이아웃 덕분에 효율적이고 연속적인 트리 순회가 가능해져 캐시 활용도가 극대화되었고, 순차적 성능이 크게 향상되었다.
• Ntropy는 강력한 병렬 확장성을 보였으며, 수천 개의 프로세서에서 트리 기반 알고리즘을 효율적으로 실행할 수 있었고, 개발자 노력이 최소한이었다.
• RMI와 공유 메모리 추상화의 사용 덕분에 과학자들은 저수준 병렬 프로그래밍 모델에 제약받지 않고 자연스럽고 직관적인 방식으로 알고리즘을 작성할 수 있었다.
• 원격 데이터 업데이트 캐싱으로 인해 통신 지연이 감소하고, 비정규적이고 예측 불가능한 트리 순회 패턴에서 특히 성능 향상이 뚜렷했다.
• 라이브러리는 원활한 업그레이드 경로를 제공하여 동일한 코드가 재구현 없이 워크스테이션과 대규모 슈퍼컴퓨터에서 모두 효율적으로 실행될 수 있도록 했다.