[논문 리뷰] Single-Producer/Single-Consumer Queues on Shared Cache Multi-Core Systems

Massimo Torquati|arXiv (Cornell University)|2010. 12. 08.

Parallel Computing and Optimization Techniques참고 문헌 12인용 수 15

한 줄 요약

이 논문은 동적 메모리 할당을 최소화하고 캐시 국소성을 극대화하는 수정된 람포트 원형 버퍼를 기반으로, 공유 캐시 다중코어 아키텍처를 위한 새로운 효율적이고 무한 크기의 wait-free 단일생산자/단일소비자(uSPSC) 큐를 제안한다. 알고리즘은 다중 푸시 최적화를 통해 높은 성능을 달성하며, 메모리 장벽을 회피함으로써 전통적인 리스트 기반 큐보다 합성 벤치마크와 실제 파이프라인 워크로드 모두에서 뛰어난 성능을 발휘한다.

ABSTRACT

Using efficient point-to-point communication channels is critical for implementing fine grained parallel program on modern shared cache multi-core architectures. This report discusses in detail several implementations of wait-free Single-Producer/Single-Consumer queue (SPSC), and presents a novel and efficient algorithm for the implementation of an unbounded wait-free SPSC queue (uSPSC). The correctness proof of the new algorithm, and several performance measurements based on simple synthetic benchmark and microbenchmark, are also discussed.

연구 동기 및 목표

• 동적 메모리 할당과 열악한 캐시 국소성으로 인해 발생하는 기존 리스트 기반 SPSC 큐의 성능 저하 문제를 해결하기 위해.
• 비용이 많이 드는 메모리 장벽을 피하고 동적 할당 의존도를 줄이는 wait-free 무한 크기의 SPSC 큐를 설계하기 위해.
• 공유 캐시 다중코어 아키텍처에서 생산자-소비자 워크로드의 캐시 성능과 처리량을 향상시키기 위해.
• 스트리밍 및 파이프라인 워크로드에 적합한, 증명 가능하게 정확하고 고성능인 기존 SPSC 큐 구현 대안을 제공하기 위해.

제안 방법

• 필요한 경우에만 동적 메모리 할당을 사용하는 것으로, 무한 크기의 지원을 위한 람포트의 wait-free 원형 버퍼 알고리즘을 수정하여 확장한다.
• 여러 요소를 단일 원자 연산으로 묶는 다중 푸시 최적화(mpush)를 도입하여 캐시 미스를 줄이고 국소성을 향상시킨다.
• 항목이 가용성을 나타내기 위해 BOTTOM으로 표시된 수정된 버퍼 구조를 사용하여 안전한 비차단 연산을 가능하게 한다.
• 잠금이 없고 wait-free인 설계를 위해 비교-교환(CAS) 연산만을 사용하며, 명시적 동기화 및 메모리 장벽을 회피한다.
• 가능한 한 생산자와 소비자를 같은 코어에 고정하여 공유 L1/L2 캐시를 활용하고 잘못된 공유(false sharing)를 줄인다.
• 컴파일러 및 메모리 접근 최적화를 적용하여 큐 연산의 핵심 경로에서 L1 및 L2 캐시 미스를 줄인다.

실험 결과

연구 질문

• RQ1 동적 메모리 할당 오버헤드 없이 wait-freedom과 정확성을 유지하면서 무한 크기의 SPSC 큐를 구현할 수 있는가?
• RQ2 다중 푸시 최적화는 SPSC 큐 연산에서 캐시 성능과 지연에 어떤 영향을 미치는가?
• RQ3 생산자와 소비자를 같은 코어에 고정하는 코어 애斐니티(core affinity)가 큐 처리량과 지연에 미치는 영향은 무엇인가?
• RQ4 실제 파이프라인 워크로드에서 제안된 uSPSC 큐는 유한 크기의 mSPSC 큐와 동적 리스트 기반의 dSPSC 큐보다 어떻게 비교되는가?
• RQ5 메모리 장벽에 의존하지 않고도 파werPC나 Itanium과 같은 약한 메모리 모델에서 알고리즘이 정확하고 효율적으로 동작할 수 있는가?

주요 결과

• 다중 푸시(mpush) 최적화는 표준 SPSC 큐의 푸시 연산 대비 L1 캐시 미스를 약 50% 감소시키고, L2 캐시 미스는 50% 이상 감소시킨다.
• 표준 SPSC 큐의 평균 푸시/팝 연산 지연이 10–11ns에서 다중 푸시 버전에서는 6–9ns로 감소하여 성능이 최대 30% 향상된다.
• 실제 파이프라인 벤치마크에서 무한 크기의 다중 푸시 SPSC(muSPSC) 큐는 최대 1.4배의 스피드업을 기록했으며, 유한 크기의 mSPSC(1.28)와 동적 리스트 기반의 dSPSC(0.98)를 모두 능가한다.
• muSPSC 큐는 uSPSC 큐보다 캐시 최적화에 덜 민감한 편이어서, 다중 푸시 최적화가 유한한 환경에서 더 큰 이점을 제공함을 시사한다.
• 생산자와 소비자를 같은 코어에 고정할 경우, 캐시 국소성 향상과 잘못된 공유 감소로 인해 성능 향상이 뚜렷하게 나타난다.
• 제안된 uSPSC 큐는 비용이 많이 드는 메모리 장벽과 동적 할당 오버헤드를 피하며, 필요한 경우에만 동적 메모리를 사용하므로 리스트 기반 대안보다 뛰어난 성능을 달성한다.