[논문 리뷰] A Data-Parallel Version of Aleph

Stasinos Konstantopoulos|ArXiv.org|2007. 08. 10.

Parallel Computing and Optimization Techniques참고 문헌 7인용 수 13

한 줄 요약

이 논문은 데이터 병렬성 기반으로 확장된 Aleph ILP 시스템을 제안하며, MPI를 사용해 예제 데이터를 여러 노드에 분산시켜 절호 평가를 가속화한다. 가설의 증명 검증을 클러스터에 위탁함으로써, 특히 대규모 데이터셋에서 뚜렷한 성능 향상을 달성한다. 무거운 배경 이론에서 16개 노드를 사용할 경우 최대 5.9배의 성능 향상을 기록하며, 데이터 병렬성이 데이터 양이 주요 성능 저하 원인일 경우 효과적임을 입증한다.

ABSTRACT

This is to present work on modifying the Aleph ILP system so that it evaluates the hypothesised clauses in parallel by distributing the data-set among the nodes of a parallel or distributed machine. The paper briefly discusses MPI, the interface used to access message- passing libraries for parallel computers and clusters. It then proceeds to describe an extension of YAP Prolog with an MPI interface and an implementation of data-parallel clause evaluation for Aleph through this interface. The paper concludes by testing the data-parallel Aleph on artificially constructed data-sets.

연구 동기 및 목표

• 강력한 하드웨어에서도 하루가 넘게 소요될 수 있는 Aleph와 같은 ILP 시스템의 높은 계산 비용을 해결하기 위해.
• 병렬 및 분산 컴퓨팅 자원을 활용해 ILP 실험의 월드클록 시간을 단축하기 위해.
• MPI를 사용해 Aleph에 데이터 병렬 절호 평가를 구현하여 노드 간에 예제 세트를 확장 가능하게 하기 위해.
• 데이터 병렬성이 ILP에서 대규모 데이터셋으로 인한 성능 저하를 효과적으로 완화하는지 평가하기 위해.

제안 방법

• 분산 노드 간 메시지 전달 통신을 가능하게 하기 위해 YAP Prolog를 MPI 인터페이스로 확장하였다.
• 클러스터의 각 노드에 예제 데이터셋의 부분집합을 할당하여 독립적으로 가설을 평가하도록 데이터셋을 분할하였다.
• MPI의 포인트 투 포인트 통신 원리를 활용해 데이터 분배 및 결과 집계를 조율하였다 (태그와 데이터 유형을 포함한 send/receive).
• 각 노드가 할당된 데이터 부분집합에 대해 후보 절을 독립적으로 증명하는 데이터 병렬 평가 전략을 구현하였다.
• 모든 노드를 관리하기 위해 MPI_COMM_WORLD를 전역 커뮤니케이터로 사용하였으며, 노드 랭크 0은 헤드 노드로 기능하였다.
• 특히 예제에 대한 가설 평가 단계가 병렬 처리 가능한 구성요소가 되도록 시스템을 설계하였다.

실험 결과

연구 질문

• RQ1 데이터 양이 주요 성능 저하 원인일 경우, 데이터 병렬성이 Aleph의 ILP 절호 평가에 대한 월드클록 시간을 효과적으로 줄일 수 있는가?
• RQ2 경량 배경 이론과 무거운 배경 이론에서, 노드 수가 증가함에 따라 데이터 병렬 Aleph의 성능은 어떻게 변화하는가?
• RQ3 어떤 상황에서 데이터 병렬성이 ILP 시스템에서 or-병렬성보다 더 효과적인가?
• RQ4 노드 간 예제를 분산하면 노드당 메모리 압박이 감소하여 제한된 하드웨어 환경에서 더 큰 실험을 가능하게 하는가?
• RQ5 배경 이론의 계산 비용이 증가할 경우, Amdahl의 법칙은 데이터 병렬 ILP의 확장성에 어떤 영향을 미치는가?

주요 결과

• 16개 노드를 사용할 경우, 경량 배경 이론에서 데이터 병렬 Aleph는 월드클록 시간 168.0초를 기록하였으며, 순차적 버전(991.9초) 대비 5.9배의 성능 향상을 달성하였다.
• 무거운 배경 이론에서는 64개 노드를 사용할 경우 월드클록 시간 8,253.0초를 기록하였으며, 32개 노드를 초과해도 성능 향상이 미미하여 Amdahl의 법칙의 영향을 받았다.
• 무거운 배경 이론에서 노드 수를 24~32개 이상으로 늘일수록 성능 향상 폭이 감소하였으며, 이는 배경 복잡성이 증가할수록 증명 단계가 점점 더 지배적인 역할을 함을 시사한다.
• 예제 세트를 분산시킴으로써 노드당 메모리 부담을 효과적으로 줄여, 제한된 메모리 환경에서도 더 큰 실험을 수행할 수 있도록 하였다.
• 데이터 병렬성이 데이터 양이 주요 저하 원인일 경우에 가장 효과적이었으며, 이는 더 무거운 배경 이론에서의 낮은 확장성으로 확인되었다.
• or-병렬성은 검색 공간 탐색 시간을 줄이는 데 더 적합한 반면, 데이터 병렬성은 대규모 데이터셋에 대한 가설 평가를 가속화하는 데 뛰어난 성능을 발휘한다.