[논문 리뷰] QuickSched: Task-based parallelism with dependencies and conflicts

Pedro Gonnet, Aidan B. G. Chalk외 1명|arXiv (Cornell University)|2016. 01. 20.

Parallel Computing and Optimization Techniques참고 문헌 3인용 수 5

한 줄 요약

QuickSched는 전통적인 종속성 기반 작업 스케줄링에 명시적 작업 충돌을 추가하여 공유 자원에 액세스하는 작업을 효율적이고 순서에 민감하지 않은 방식으로 직렬화할 수 있도록 하는 경량이고 오픈소스의 C 라이브러리이다. 이는 계층적이고 잠금 가능한 자원을 통해 충돌을 모델링하며, 임계 경로 기반 작업 우선순위 부여와 효율적인 락 기반 충돌 해결, 최소한의 런타임 추상화를 결합하여 64코어 시스템에서 높은 성능과 강한 확장성을 달성한다. 스케줄러 오버헤드는 총 실행 시간의 1% 미만을 차지한다.

ABSTRACT

This paper describes QuickSched, a compact and efficient Open-Source C-language library for task-based shared-memory parallel programming. QuickSched extends the standard dependency-only scheme of task-based programming with the concept of task conflicts, i.e.~sets of tasks that can be executed in any order, yet not concurrently. These conflicts are modelled using exclusively lockable hierarchical resources. The scheduler itself prioritizes tasks along the critical path of execution and is shown to perform and scale well on a 64-core parallel shared-memory machine for two example problems: A tiled QR decomposition and a task-based Barnes-Hut tree code.

연구 동기 및 목표

• 공유 자원 액세스를 위한 비중첩 작업에 대해 종속성에 의해 강제되는 임의의 순서를 부과하는 기존 작업 기반 시스템의 한계를 해결한다.
• 공유 자원(예: 감소 연산 또는 독점 쓰기)에 액세스하는 작업을 인위적인 순서 제약 없이 효율적이고 순서에 민감하지 않은 방식으로 직렬화할 수 있도록 한다.
• 컴파일러 확장자나 프리프로세서를 사용하지 않는 표준 C로 구현된 최소 크기의 이식성 있고 고성능 작업 스케줄러를 설계한다.
• 임계 경로 기반 작업 우선순위 부여와 효율적인 자원 락킹을 조합하여 공유 메모리 환경에서 낮은 오버헤드와 높은 확장성을 달성한다.
• 컴파일 타임에 명시적으로 작업 종속성과 충돌을 지정할 수 있는 단순하고 확장 가능한 API를 제공하여 더 나은 스케줄링 결정을 가능하게 한다.

제안 방법

• 작업 종속성을 방향성 비순환 그래프(DAG)로 모델링하며, 작업을 노드로, 데이터 흐름 제약 조건을 간선으로 간주한다.
• 작업 충돌을 동시에 실행될 수 없지만 임의의 순서로 배치될 수 있는 작업 집합으로 모델링하며, 계층적 자원에 대한 전용 락을 사용한다.
• 임계 경로 길이 히وري스틱을 사용해 작업에 가중치를 부여하고, 가장 긴 데이터 종속 경로를 따라 우선순위를 매겨 병렬성을 극대화한다.
• OpenMP 또는 pthreads를 사용한 워크 스틸링 작업 큐 시스템을 구현하며, 각 스레드가 로컬 큐를 유지하고 유휴 상태일 때 다른 스레드의 큐를 탐색한다.
• 작업 실행 중에 자원 락을 획득하고 해제함으로써 종속성과 충돌을 세밀하게 제어한다.
• 스케줄러 논리를 경량화하고 복잡한 런타임 분석이나 사전 처리를 피함으로써 런타임 오버헤드를 최소화하며, 정적 작업 그래프 사양에 의존한다.

실험 결과

연구 질문

• RQ1 종속성 외에 명시적인 작업 충돌 모델링이 공유 자원 액세스를 수반하는 작업 기반 시스템에서 병렬성을 향상시킬 수 있는가?
• RQ2 공유 메모리 아키텍처에서 락 기반 충돌 모델은 종속성 기반 직렬화에 비해 성능과 확장성 측면에서 어떻게 비교되는가?
• RQ3 컴파일러 확장자나 복잡한 런타임 시스템 없이도 최소 크기의 C 기반 작업 스케줄러가 낮은 오버헤드와 강한 확장성을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 임계 경로 기반 작업 우선순위 부여 전략은 혼합된 데이터 종속성과 자원 종속성을 가진 비정규적인 작업 그래프에서 부하 균형과 실행 효율성을 향상시키는가?
• RQ5 메모리 계층 구조와 캐시 일관성은 대규모 공유 메모리 시스템에서 작업 스케줄링 오버헤드와 성능에 어떤 영향을 미치는가?

주요 결과

• QuickSched는 모든 코어 수에서 1% 미만의 스케줄러 오버헤드를 기록하며, 64코어 시스템에서도 마찬가지로 최소한의 런타임 비용을 보여준다 (qsched_gettask 기준).
• 16코어에서 64코어로 확장할 때 쌍 상호작용 작업의 비용은 최대 30% 증가하지만, 입자-셀 상호작용 비용은 오직 10% 증가하여 더 나은 메모리 국소성임을 반영한다.
• QuickSched는 64코어 공유 메모리 시스템에서 잘 스케일링되며, 타일 기반 QR 분해와 Barnes-Hut 트리코드 워크로드 모두에서 뛰어난 성능을 보여준다.
• 계층적 락을 통한 충돌의 명시적 모델링은 교환 법칙이 성립하지 않는 작업(예: 감소 연산)의 정확한 직렬화를 가능하게 하며, 인위적인 실행 순서 제약 없이도 작동한다.
• 임계 경로 기반 작업 가중치 전략은 가장 긴 데이터 종속 경로에 있는 작업을 우선순위로 배정함으로써 높은 병렬 효율성을 달성한다.
• 표준 C와 OpenMP/pthreads 기반의 QuickSched 설계는 이식성과 단순성을 보장하며, 3,000줄 미만의 코드와 최소한의 추상화 계층을 갖춘다.