[논문 리뷰] Using the Parallel Virtual Machine for Everyday Analysis

Madeline Noble, J. C. Houck외 3명|arXiv (Cornell University)|2005. 10. 24.

Astronomy and Astrophysical Research인용 수 3

한 줄 요약

이 논문은 스펙트럼 분석 시스템인 ISIS에 스크립터블 S-Lang 모듈을 통해 병렬 가상 머신(PVM)을 통합하여 일반적인 천문학적 모델링 작업을 일상적이고 투명하게 병렬 처리할 수 있도록 제안한다. 계산 비용이 큰 연산—예를 들어 킬러 디스크 선형 피팅, 신뢰도 윤곽 생성, 온도 맵핑—을 25개 이상의 CPU에 분산 처리함으로써 실행 시간을 최대 4.15배까지 단축시켜, 표준 분석 워크플로우에서 인터랙티브 피팅과 대규모 오차 분석을 가능하게 한다.

ABSTRACT

A review of the literature reveals that while parallel computing is sometimes employed by astronomers for custom, large-scale calculations, no package fosters the routine application of parallel methods to standard problems in astronomical data analysis. This paper describes our attempt to close that gap by wrapping the Parallel Virtual Machine (PVM) as a scriptable S-Lang module. Using PVM within ISIS, the Interactive Spectral Interpretation System, we've distributed a number of representive calculations over a network of 25+ CPUs to achieve dramatic reductions in execution times. We discuss how the approach applies to a wide class of modeling problems, outline our efforts to make it more transparent for common use, and note its growing importance in the context of the large, multi-wavelength datasets used in modern analysis.

연구 동기 및 목표

• 대규모 시뮬레이션에서 널리 채택되고 있음에도 불구하고 표준 천문학적 데이터 분석에서 routine한 병렬 컴퓨팅 사용의 부족을 해결하기 위해.
• 기존의 순차적 모델을 수동으로 병렬화해야 하는 장벽을 극복하기 위해 ISIS 내에서 투명하고 스크립터블한 병렬 실행을 가능하게 하기 위해.
• 네트워크 기반 CPU를 활용하여 인터랙티브하고 효율적인 오차 분석(예: 신뢰도 윤곽)과 복잡한 모델링(예: 상대론적 디스크 선)을 가능하게 하기 위해.
• 병렬 처리가 고유한 시뮬레이션에만 적용되는 것이 아니라, 스펙트럼 피팅과 매개변수 공간 탐색과 같은 일상적인 분석 작업에도 적용될 수 있음을 입증하기 위해.
• 플러그인 유사한 인터페이스를 통해 저수준 복잡성을 숨기고 최소한의 전문 지식으로도 병렬 컴퓨팅의 보급을 촉진하기 위해.

제안 방법

• PVM 메시지 전달 라이브러리를 스크립터블 S-Lang 모듈로 감싸 ISIS와 통합하여 핵심 시스템을 수정하지 않고도 고수준 병렬 처리를 가능하게 하였다.
• SLIRP를 사용하여 외부 FORTRAN 모델(예: kerr.f)을 최소한의 오버헤드로 ISIS 환경에 컴파일하고 인터페이스화 하였다.
• 모델 격자(예: 킬러 선 피팅에서의 디스크 반경)를 여러 CPU에 나누어 각 슬레이브 노드가 독립적으로 부분 집합을 계산하도록 하였다.
• 1D 및 2D 신뢰도 윤곽에 대해 독립적인 매개변수 공간 탐색을 적용하여 더 나은 해가 발견되면 조기 종료가 가능해져 초선형 성능 향상을 이룩하였다.
• 온도 맵핑을 위해 20개 이상의 CPU에서 10,000개의 스펙트럼 추출을 독립적으로 피팅하여 병렬 처리하였다.
• PVM의 장애 내성 기능을 활용하여 정상 업무 시간 동안 공유되고 이종적인 클러스터에서 장시간 실행되는 작업을 관리하였다.

실험 결과

연구 질문

• RQ1 천문학에서 routine하고 인터랙티브한 스펙트럼 피팅 작업에 병렬 컴퓨팅을 효과적이고 투명하게 적용할 수 있는가?
• RQ2 기존의 순차적 모델을 재컴파일하거나 저수준 코드 수정 없이 얼마나 병렬화할 수 있는가?
• RQ3 네트워크 기반 CPU를 사용할 때, 일반적인 모델링 문제(예: 신뢰도 윤곽 생성, 상대론적 선 피팅)에 대해 얼마나 많은 성능 향상을 기대할 수 있는가?
• RQ4 PVM과 같은 장애 내성 메시지 전달 시스템이 공유 클러스터에서 장시간 실행되는 대규모 분석을 신뢰성 있게 수행할 수 있는가?
• RQ5 현대의 다파장 데이터셋에서 병렬 처리가 인터랙티브 오차 분석 및 복잡한 모델링의 실행 가능성에 미치는 실질적 영향은 무엇인가?

주요 결과

• 14개 CPU로 구성된 PVM 클러스터는 단일 킬러 디스크 모델 평가의 중앙값 실행 시간을 순차적 실행 시 33.86초에서 8.16초로 단축하여 4.15배의 속도 향상을 달성하였다.
• 관측된 속도 향상(4.15)은 애멀달의 법칙으로 예측한 이론적 최대 속도 향상의 67%를 차지하였으며, 이는 실행 시간의 30%가 본질적으로 병렬화 불가능한 것으로 나타났다.
• 유사한 병렬 처리 방법을 통해 실제 데이터셋(예: MCG–6-30-15)에서 복잡한 피팅의 수렴 시간을 3–4시간에서 1시간 이내로 단축시켰다.
• 동기론 복사 모델의 170×150 신뢰도 윤곽 격자 계산은 20~30개 CPU에서 10일이 소요되었으며, 단일 워크스테이션에서는 6~10개월이 걸릴 정도로 병렬 처리의 필수성을 입증하였다.
• 10,000개의 스펙트럼 피팅을 포함하는 페르세우스 성운의 온도 맵핑은 20개 이상의 CPU를 사용해 몇 시간 내로 완료되어 대규모 데이터셋에 대한 확장성을 입증하였다.
• 더 나은 해가 발견되면 다른 슬레이브의 실행을 조기 종료할 수 있어 1D 오차 분석에서 초선형 속도 향상을 달성하였으며, 선형 스케일을 초월한 효율성 향상을 이룩하였다.