[논문 리뷰] Efficient Algorithms with Asymmetric Read and Write Costs

Guy E. Blelloch, Jeremy T. Fineman외 3명|arXiv (Cornell University)|2015. 11. 03.

Interconnection Networks and Systems참고 문헌 40인용 수 12

한 줄 요약

이 논문은 읽기 비용이 저렴하고 쓰기 비용이 비싼 비대칭 메모리 비용 환경에서 알고리즘 설계를 연구하기 위해 $(M,\omega)$-ARAM 모델을 도입한다. 읽기는 저렴하다($1$), 쓰기는 비싸다($\omega \gg 1$). 기본적인 하한을 확립하고, 비싼 쓰기 연산을 최소화하기 위해 재활용 계산을 활용하는 효율적인 알고리즘을 개발하며, FFT 및 정렬 네트워크와 같은 문제들은 다항식 $ω$ 에서 $M$ 에 비례할 경우 점근적 개선이 불가능하다는 것을 보여주고, 편집 거리 및 MST 알고리즘은 경로 스케치 및 컴포넌트 단순화와 같은 새로운 기법을 통해 비용을 크게 줄일 수 있음을 밝힌다.

ABSTRACT

In several emerging technologies for computer memory (main memory), the cost of reading is significantly cheaper than the cost of writing. Such asymmetry in memory costs poses a fundamentally different model from the RAM for algorithm design. In this paper we study lower and upper bounds for various problems under such asymmetric read and write costs. We consider both the case in which all but $O(1)$ memory has asymmetric cost, and the case of a small cache of symmetric memory. We model both cases using the $(M,ω)$-ARAM, in which there is a small (symmetric) memory of size $M$ and a large unbounded (asymmetric) memory, both random access, and where reading from the large memory has unit cost, but writing has cost $ω\gg 1$. For FFT and sorting networks we show a lower bound cost of $Ω(ωn\log_{ωM} n)$, which indicates that it is not possible to achieve asymptotic improvements with cheaper reads when $ω$ is bounded by a polynomial in $M$. Also, there is an asymptotic gap (of $\min(ω,\log n)/\log(ωM)$) between the cost of sorting networks and comparison sorting in the model. This contrasts with the RAM, and most other models. We also show a lower bound for computations on an $n imes n$ diamond DAG of $Ω(ωn^2/M)$ cost, which indicates no asymptotic improvement is achievable with fast reads. However, we show that for the edit distance problem (and related problems), which would seem to be a diamond DAG, there exists an algorithm with only $O(ωn^2/(M\min(ω^{1/3},M^{1/2})))$ cost. To achieve this we make use of a "path sketch" technique that is forbidden in a strict DAG computation. Finally, we show several interesting upper bounds for shortest path problems, minimum spanning trees, and other problems. A common theme in many of the upper bounds is to have redundant computation to tradeoff between reads and writes.

연구 동기 및 목표

• 읽기 비용은 낮고 쓰기 비용은 훨씬 높은 비대칭 메모리 비용 환경에서 알고리즘 성능을 모델링하고 분석하는 것.
• 이러한 비대칭 메모리 모델에서 재활용 계산을 통한 성능 향상의 기본적인 한계를 규명하는 것.
• 풍부한 저비용 읽기 연산을 활용하면서도 비싼 쓰기 연산을 최소화하는 효율적인 알고리즘을 개발하는 것.
• 기존 RAM 모델과 비교했을 때 어떤 고전적 알고리즘 문제들이 비대칭 모델에서 점근적 비용 개선을 달성할 수 있는지 이해하는 것.
• 비대칭 비용 하에서 표준 알고리즘 동치성(예: 비교 정렬 vs. 정렬 네트워크)이 어떻게 붕괴되는지 탐색하는 것.

제안 방법

• 소형 대칭 메모리 크기 $M$ 과 쓰기 비용 $\omega \gg 1$ 인 무한대 비대칭 메모리로 구성된 $(M,\omega)$-ARAM 모델을 도입한다.
• ARAM 비용에 대한 하한을 유도하기 위해 계산 그래프의 노드에 분수 가중치를 할당하는 회계 분석 기법을 사용한다.
• 편집 거리 및 유사 문제에서 계산 경로를 압축하고 재사용할 수 있도록 해, 쓰기 비용을 감소시키는 '경로 스케치' 기법을 개발한다.
• Borůvka 알고리즘에 컴포넌트 단순화 및 다단계 처리 기법을 적용하여 라운드당 비싼 쓰기 연산 수를 줄인다.
• 특히 단일 소스 최단 경로, MST 및 그래프 순회 문제에서 재활용 독서를 통해 쓰기 수를 줄이는 알고리즘 설계를 수행한다.
• 외부 메모리 및 병렬 알고리즘 기법을 융합하여 비대칭 환경에서 쓰기 중심 연산을 최적화한다.

실험 결과

연구 질문

• RQ1 쓰기 비용이 높고 읽기 비용이 낮을 때, FFT 및 정렬과 같은 기본 문제들에 대해 점근적 비용 개선을 달성할 수 있는가?
• RQ2 비대칭 메모리 비용 하에서 정렬 네트워크 및 다이아몬드 DAG와 같은 문제들에 대한 ARAM 비용의 기본 하한은 무엇인가?
• RQ3 비대칭 메모리 모델에서 전통적인 동치성(예: 비교 정렬 vs. 정렬 네트워크)은 어느 정도 붕괴되는가?
• RQ4 다이아몬드 DAG와 유사한 문제들인 편집 거리, LCS 문제들은 일반 DAG 하한을 초월해 더 저렴하게 해결할 수 있는가?
• RQ5 $(M,\omega)$-ARAM 모델에서 독서와 쓰기 간의 효율적 트레이드오프를 가능하게 하는 알고리즘 기법은 무엇인가?

주요 결과

• FFT 및 정렬 네트워크의 경우 ARAM 비용은 $\Omega(\omega n \log_{\omega M} n)$ 이며, $\omega$ 가 $M$ 에 대해 다항식일 경우 점근적 개선이 불가능함을 보여준다.
• 비교 정렬($O(n(\log n + \omega))$)과 정렬 네트워크($\Omega(\omega n \log n / \log(\omega M))$) 간의 비용 격차는 $\min(\omega, \log n)/\log(\omega M)$ 이며, 이는 모델 내에서의 근본적인 비대칭성을 시사한다.
• $n \times n$ 다이아몬드 DAG의 경우 하한은 $\Omega(\omega n^2 / M)$ 이며, 빠른 독서만으로는 점근적 개선이 불가능하다.
• 편집 거리 및 LCS 문제는 경로 스케칭을 통해 일반 DAG 하한을 초월하여 $O(\omega n^2 / (M \min(\omega^{1/3}, M^{1/2})))$ ARAM 비용을 달성한다.
• MST에 대한 Borůvka 알고리즘의 변형은 $O(m \min(n/M, \log n) + \omega n)$ ARAM 비용을 기록하며, $O(Q(n,m) + n \log n)$ 시간 내에 수행되어 기존의 쓰기 중심 접근보다 향상된다.
• 단일 소스 최단 경로 문제의 경우 ARAM 비용은 $O(\min(n(\omega + m/M), (m+n\log n)\omega, m(\omega + \log n)))$ 이며, 작업량과 쓰기 감소 사이의 트레이드오프를 보여준다.