[논문 리뷰] Weaves: A Novel Direct Code Execution Interface for Parallel High Performance Scientific Codes

Srinidhi Varadarajan, Joy Chandra Mukherjee외 1명|ArXiv.org|2002. 05. 04.

Parallel Computing and Optimization Techniques참고 문헌 13인용 수 4

한 줄 요약

Weaves는 코드 리팩터링이나 특정 프로그래밍 모델 준수 없이 수정되지 않은 병렬 고성능 과학 계산 코드의 직접 실행, 조합, 런타임 제어를 가능하게 하는 혁신적인 프레임워크를 도입한다. 스레드와 프로세스를 확장한 일반화된 실행 모델을 활용함으로써 Weaves는 레거시 코드베이스에 투명한 통합과 성능 특성 분석을 달성하며, x86 아키텍처에서 최소한의 런타임 오버헤드로 프로토타입을 통해 이를 입증한다.

ABSTRACT

Scientific codes are increasingly being used in compositional settings, especially problem solving environments (PSEs). Typical compositional modeling frameworks require significant buy-in, in the form of commitment to a particular style of programming (e.g., distributed object components). While this solution is feasible for newer generations of component-based scientific codes, large legacy code bases present a veritable software engineering nightmare. We introduce Weaves a novel framework that enables modeling, composition, direct code execution, performance characterization, adaptation, and control of unmodified high performance scientific codes. Weaves is an efficient generalized framework for parallel compositional modeling that is a proper superset of the threads and processes models of programming. In this paper, our focus is on the transparent code execution interface enabled by Weaves. We identify design constraints, their impact on implementation alternatives, configuration scenarios, and present results from a prototype implementation on Intel x86 architectures.

연구 동기 및 목표

• 수정되지 않은 레거시 고성능 과학 계산 코드를 리팩터링 없이 또는 구성 기반 모델 준수 없이 조합형 문제 해결 환경에 통합하는 데 도전하는 것.
• 분산 및 병렬 컴퓨팅 환경에서 수정되지 않은 병렬 과학 계산 코드의 투명한 실행과 런타임 관리를 가능하게 하는 것.
• 기존 스레드 및 프로세스 모델을 확장하여 더 넓은 조합 지원을 위한 일반화된 실행 모델을 설계하는 것.
• 통합 프레임워크 내에서 과학 계산 코드의 성능 특성 분석, 적응, 제어를 지원하는 것.
• Intel x86 아키텍처에서의 프로토타입 구현을 통해 접근법의 타당성과 효율성을 입증하는 것.

제안 방법

• Weaves는 수정되지 않은 과학 계산 코드를 수정하거나 재컴파일하지 않고도 조합하고 실행할 수 있도록 허용하는 직접 코드 실행 인터페이스를 사용한다.
• 이 프레임워크는 스레드와 프로세스를 모두 포함하는 일반화된 실행 모델을 사용하여 병렬 컴포onent의 민첩한 조합을 가능하게 한다.
• 기존의 PSEs와 통합하기 위해 저수준 병렬성 및 통신 세부 정보를 추상화하는 투명한 인터페이스를 제공한다.
• 런타임 모니터링과 성능 특성 분석은 원본 코드를 변경하지 않고도 인스트루멘테이션과 메타데이터 수집을 통해 달성된다.
• 성능 피드백 및 구성 정책 기반으로 코드 실행의 동적 적응 및 제어를 지원한다.
• 표준 병렬 프로그래밍 인터페이스와 시스템 수준 메커니즘을 사용하여 Intel x86 아키텍처에서 프로토타입을 구현했다.

실험 결과

연구 질문

• RQ1 수정되지 않은 고성능 과학 계산 코드를 리팩터링 없이 조합형 환경에서 실행할 수 있는 방법은 무엇인가?
• RQ2 스레드와 프로세스 모델을 모두 확장하여 과학 계산 코드 조합을 위한 일반화된 실행 모델을 설계하는 데 필요한 설계 원칙은 무엇인가?
• RQ3 레거시 코드에 대해 성능 특성 분석과 런타임 제어를 어떻게 투명하게 달성할 수 있는가?
• RQ4 기존 HPC 워크로드에 이러한 프레임워크를 통합할 경우 성능 및 확장성에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 과학 계산 코드 실행의 동적 적응 및 제어를 어느 정도 지원할 수 있는가?

주요 결과

• Weaves는 코드 리팩터링이나 구성 기반 모델로의 마이그레이션 없이도 수정되지 않은 병렬 과학 계산 코드의 직접 실행을 투명한 인터페이스를 통해 성공적으로 가능하게 하였다.
• 프레임워크는 원본 소스 코드를 수정하지 않고도 레거시 코드의 조합, 성능 특성 분석, 런타임 제어를 지원한다.
• Intel x86 아키텍처에서의 프로토타입 구현은 낮은 런타임 오버헤드를 보이며, 실세계 HPC 워크로드에 대한 실용적 타당성을 입증한다.
• Weaves는 스레드 및 프로세스 모델의 적절한 슈퍼셋을 제공하여 더 표현력 있고 민첩한 병렬 조합을 가능하게 한다.
• 시스템은 코드 실행의 효율적 모니터링과 인스트루멘테이션을 지원하여 조합형 환경에서의 성능 분석 및 적응을 가능하게 한다.
• 특히 대규모 과학 계산 환경에서 레거시 코드를 문제 해결 환경에 통합할 때 소프트웨어 공학 오버헤드를 감소시킨다.