[논문 리뷰] Improved Parallel Cache-Oblivious Algorithms for Dynamic Programming and Linear Algebra

Guy E. Blleloch, Yan Gu|arXiv (Cornell University)|2018. 09. 25.

Parallel Computing and Optimization Techniques참고 문헌 90인용 수 5

한 줄 요약

이 논문은 비대칭 메모리 시스템(예: NVRAM)에서 동적 프rogram밍 및 선형 대수 알고리즘을 통합하고 최적화하기 위해 새로운 추상화인 k-d 격자(k-d grids)를 도입한다. 저자들은 k-d 격자에 대한 쓰기 효율적인 알고리즘과 하한선을 수립함으로써 대칭 및 비대칭 캐시 복잡도를 향상시키며, APSP, 행렬 곱셈, 배낭 채움 재귀식 등 문제들에 대해 I/O 효율성과 병렬성에서 점근적 향상을 달성한다.

ABSTRACT

Emerging non-volatile main memory (NVRAM) technologies provide byte-addressability, low idle power, and improved memory-density, and are likely to be a key component in the future memory hierarchy. However, a critical challenge in achieving high performance is in accounting for the asymmetry that NVRAM writes can be significantly more expensive than NVRAM reads. In this paper, we consider a large class of cache-oblivious algorithms for dynamic programming (DP) and linear algebra, and try to reduce the writes in the asymmetric setting while maintaining high parallelism. To achieve that, our key approach is to show the correspondence between these problems and an abstraction for their computation, which is referred to as the $k$-d grids. Then by showing lower bound and new algorithms for computing $k$-d grids, we show a list of improved cache-oblivious algorithms of many DP recurrences and in linear algebra in the asymmetric setting, both sequentially and in parallel. Surprisingly, even without considering the read-write asymmetry (i.e., setting the write cost to be the same as the read cost in the algorithms), the new algorithms improve the existing cache complexity of many problems. We believe the reason is that the extra level of abstraction of $k$-d grids helps us to better understand the complexity and difficulties of these problems. We believe that the novelty of our framework is of interests and leads to many new questions for future work.

연구 동기 및 목표

• 쓰기 비용이 읽기 비용보다 훨씬 높은 최신 NVRAM 시스템에서 발생하는 성능 저하 문제를 해결한다.
• 비대칭 메모리 환경에서 동적 프로그래밍 및 선형 대수 알고리즘의 I/O 효율성을 향상시킨다.
• 광범위한 알고리즘 클래스에 걸쳐 대칭 및 비대칭 캐시 복잡도를 분석하고 최적화할 수 있는 통합 프레임워크를 개발한다.
• 지속성 메모리 워크로드에 매우 중요한 쓰기 연산을 최소화하면서도 높은 병렬성을 확보한다.
• APSP, 행렬 곱셈, 배낭 채움 재귀식 등의 문제들에 대한 이론적 기초와 실용적인 알고리즘 개선을 제공한다.

제안 방법

• 분할정복 기반 동적 프로그래밍 및 선형 대수 알고리즘의 계산을 표현하기 위한 통합 모델로 k-d 격자 추상화를 도입한다.
• 대칭 및 비대칭 비용 모델 하에서 k-d 격자 계산의 I/O 복잡도에 대한 하한선을 수립한다.
• 비대칭 환경에서 쓰기 연산을 최소화하면서도 높은 병렬성을 유지하는 새로운 캐시 무관 알고리즘을 설계한다.
• APSP 및 행렬 곱셈과 같은 문제들의 재귀적이고 분할정복 구조를 활용해 k-d 격자 계산 패턴으로 매핑한다.
• k-d 격자 캐시 복잡도를 활용해 고수준 문제, 예를 들어 전쌍 최단경로 및 조합적 행렬 곱셈에 대한 복잡도 상한을 유도한다.
• CBCO(Cache-Oblivious, 고정 분지 수) 기반 원칙을 적용하여 제안된 알고리즘이 합리적인 가정 하에 최적임을 증명한다.

실험 결과

연구 질문

• RQ1 비대칭 메모리 시스템에서 쓰기 효율적이고 캐시 무관인 동적 프로그래밍 및 선형 대수 알고리즘을 설계할 수 있는가? 이 알고리즘은 최적의 I/O 복잡도를 달성할 수 있는가?
• RQ2 k-d 격자 추상화는 분할정복 알고리즘의 광범위한 클래스를 통합하고 분석을 단순화하는 데에 충분한가?
• RQ3 쓰기 비대칭성을 고려한 k-d 격자 계산의 I/O 복잡도에 대한 하한선을 증명할 수 있는가?
• RQ4 제안된 알고리즘은 APSP 및 행렬 곱셈과 같은 문제들에 대해 대칭 및 비대칭 환경 모두에서 점근적으로 최적인가?
• RQ5 이 프레임워크는 비정사각형 또는 비정규적인 k-d 격자 형태로 확장될 수 있으며, 이는 텐서 대수학 및 기타 응용 분야에 어떤 영향을 미치는가?

주요 결과

• 논문은 k-d 격자 계산의 대칭 캐시 복잡도가 C / (B M^{1-1/k})의 Θ로 표현됨을 입증한다. 여기서 C는 알고리즘 명령어 수이다.
• 비대칭 설정에서는 캐시 복잡도가 ω^{1/k} C / (B M^{1-1/k})의 Θ로 향상되며, 이는 최적의 쓰기 효율성을 달성한다. 여기서 ω는 쓰기 비용 배수를 나타낸다.
• APSP 및 행렬 곱셈에 대한 제안된 알고리즘은 최고의 캐시 의존 알고리즘과 동일한 점근적 I/O 복잡도를 달성하지만, 캐시 매개변수에 대한 사전 지식이 필요로 하지 않는다.
• 기존 캐시 무관 알고리즘보다 대칭 케이스에서도 성능 향상을 보이며, 이는 k-d 격자 추상화가 알고리즘 복잡도에 대한 더 깊은 구조적 통찰을 드러냄을 시사한다.
• GAP 재귀식의 경우 I/O 비용에 추가로 O((n² log M)/B) 항이 존재하며, 이는 제거되지 않은 채로 남아 있는 열린 문제이다.
• 병렬 대칭 캐시 복잡도는 Q₁ + O(p D M / B)로 제한되며, 저자들은 이 덧셈 항이 k-d 격자에 대해 O(p M / B)로 향상될 수 있을 것이라 추측한다. 이는 더 탴진 병렬 I/O 상한의 가능성 시사.