[논문 리뷰] Deterministic Consistency: A Programming Model for Shared Memory Parallelism

Amittai Aviram, Bryan Ford|arXiv (Cornell University)|2009. 12. 04.

Parallel Computing and Optimization Techniques참고 문헌 32인용 수 6

한 줄 요약

이 논문은 결정론적 일致성(Deterministic Consistency, DC)을 제안한다. DC는 모든 병렬 스레드가 공유 출력을 쓰기 전에 입력을 읽도록 보장하는 공유 메모리 프로그래밍 모델로, 데이터 레이스와 히젠버그를 완전히 제거한다. 명시적인 acquire/release 쌍을 통한 결정론적 동기화를 강제함으로써, 언어 제약 조건이나 인위적 스케줄링 없이도 신뢰할 수 있고 예측 가능한 병렬 처리를 가능하게 하며, OpenMP 유사 워크로드에 대해 프로토타입 구현에서 낮은 오버헤드(<10%)를 달성한다.

ABSTRACT

The difficulty of developing reliable parallel software is generating interest in deterministic environments, where a given program and input can yield only one possible result. Languages or type systems can enforce determinism in new code, and runtime systems can impose synthetic schedules on legacy parallel code. To parallelize existing serial code, however, we would like a programming model that is naturally deterministic without language restrictions or artificial scheduling. We propose "deterministic consistency", a parallel programming model as easy to understand as the "parallel assignment" construct in sequential languages such as Perl and JavaScript, where concurrent threads always read their inputs before writing shared outputs. DC supports common data- and task-parallel synchronization abstractions such as fork/join and barriers, as well as non-hierarchical structures such as producer/consumer pipelines and futures. A preliminary prototype suggests that software-only implementations of DC can run applications written for popular parallel environments such as OpenMP with low (&lt;10%) overhead for some applications.

연구 동기 및 목표

• 비결정론적 행동과 재현이 어려운 히젠버그로 인해 악영향을 받는 신뢰성 있는 병렬 소프트웨어 개발 문제를 해결하기 위해.
• 기존 순차 코드와 일반적인 병렬 추상화와 호환되며 직관적이고 결정론적인 공유 메모리 프로그래밍 모델을 설계하기 위해.
• 언어 수준의 타입 시스템이나 런타임 추측 없이 데이터 레이스와 스케줄링에 의존하는 버그를 제거하기 위해.
• 기존 코드와 새로 병렬화된 코드에 대해 소프트웨어 전용으로 결정론적 병렬 처리를 효율적으로 구현하기 위해.

제안 방법

• 병렬 할당 구문을 모델로 삼아, 동시 실행 스레드가 공유 출력을 쓰기 전에 모든 입력을 읽는 메모리 모델 정의.
• 동기화 원자: release(쓰기 발행)와 acquire(업데이트 수신)를 도입하고, 매칭되는 쌍을 통해 happens-before 관계를 강제.
• 유일한 acquire와 release 쌍을 요구함으로써 결정론성을 확보하고, 동기화 지점에서 충돌하는 쓰기의 경우 결정론적 해결 방식을 적용.
• 피라미드, 파이프라인, 퍼처스와 같은 비계층적 패턴뿐만 아니라, fork/join과 장벽과 같은 계층적 추상화도 지원.
• release가 업데이트를 전송하고 acquire가 로컬로 통합하는 분산 공유 메모리 추상화로서 DC를 구현.
• 소프트웨어 전용 프로토타입을 사용하여, OpenMP 애플리케이션 포함 기존 병렬 워크로드에서 <10%의 오버헤드를 입증.

실험 결과

연구 질문

• RQ1 언어 수준의 타입 시스템이나 정적 분석 없이도 결정론적 실행을 보장하는 공유 메모리 모델을 설계할 수 있는가?
• RQ2 기존 병렬 코드에서 결정론적 일치성을 최소한의 성능 오버헤드로 실제로 달성할 수 있는가?
• RQ3 DC는 파이프라인, 퍼처스, 작업 병렬 처리와 같은 일반적인 병렬 프로그래밍 패턴을 유지하면서도 결정론성을 보장할 수 있는가?
• RQ4 거래 메모리나 재생 기반 디버깅과 같은 기존의 결정론적 모델과 비교해 DC의 효율성과 정확성은 어떠한가?
• RQ5 하드웨어 거래 메모리나 인위적 스케줄링에 의존하지 않고도 소프트웨어로 DC를 효율적으로 구현할 수 있는가?

주요 결과

• 결정론적 일치성은 모든 스레드가 공유 출력을 쓰기 전에 입력을 읽도록 보장하여 데이터 레이스와 비결정론적 행동을 완전히 제거한다.
• 모델은 fork/join, 장벽, 파이프라인, 퍼처스와 같은 일반적인 동기화 패턴을 결정론적 의미론으로 지원한다.
• DC의 소프트웨어 프로토타입은 일부 OpenMP 유사 응용 프로그램에서 10% 미만의 오버헤드를 달성하여 실용적인 효율성을 입증한다.
• 거래 메모리나 DMP 기반 시스템과 달리 추측, 롤백, 또는 인위적 스케줄링이 필요로 하지 않는다.
• 외부 입력이 로깅되어 있다면 공유 상태가 존재하는 상황에서도 전체 결정론성이 유지되어 실행이 재현 가능하다.
• 단순성, 결정론성, 기존 병렬 프로그래밍 패턴과의 호환성의 조합을 통해 순차 일관성의 실용적인 대안을 제공한다.