[논문 리뷰] I/O Efficient Algorithms for Matrix Computations

Sraban Kumar Mohanty|arXiv (Cornell University)|2010. 06. 07.

Parallel Computing and Optimization Techniques참고 문헌 2인용 수 6

한 줄 요약

이 학위논문은 외부 메모리 모델을 사용하여 주요 행렬 계산, 특히 QR 분해 및 헤센베르크/삼중대각/이중대각 행렬 축소에 대한 I/O 효율적인 알고리즘을 제시한다. 타일 기반 및 띠형 중간 형식 기법을 도입함으로써 점근적으로 최적의 I/O 복잡도를 달성하며, 타일 크기가 주 메모리에 맞을 경우 행렬 곱셈의 I/O 복잡도를 따라가는 새로운 재귀적 캐시 무관 알고리즘을 제안한다.

ABSTRACT

We analyse some QR decomposition algorithms, and show that the I/O complexity of the tile based algorithm is asymptotically the same as that of matrix multiplication. This algorithm, we show, performs the best when the tile size is chosen so that exactly one tile fits in the main memory. We propose a constant factor improvement, as well as a new recursive cache oblivious algorithm with the same asymptotic I/O complexity. We design Hessenberg, tridiagonal, and bidiagonal reductions that use banded intermediate forms, and perform only asymptotically optimal numbers of I/Os; these are the first I/O optimal algorithms for these problems. In particular, we show that known slab based algorithms for two sided reductions all have suboptimal asymptotic I/O performances, even though they have been reported to do better than the traditional algorithms on the basis of empirical evidence. We propose new tile based variants of multishift QR and QZ algorithms that under certain conditions on the number of shifts, have better seek and I/O complexities than all known variants. We show that techniques like rescheduling of computational steps, appropriate choosing of the blocking parameters and incorporating of more matrix-matrix operations, can be used to improve the I/O and seek complexities of matrix computations.

연구 동기 및 목표

• 외부 메모리 모델 하에서 행렬 계산을 위한 I/O 효율적인 알고리즘을 설계한다.
• 헤센베르크, 삼중대각 및 이중대각 축소를 위한 I/O 최적화된 알고리즘이 부족한 문제를 해결한다.
• 양측 축소에 대해 점근적으로 최적의 I/O 복잡도를 달성한다.
• 행렬 곱셈의 I/O 복잡도를 따라가는 재귀적 캐시 무관 알고리즘을 제안한다.
• 기존의 슬랩 기반 및 블록 기반 알고리즘보다 새로운 데이터 레이아웃과 알고리즘 구조를 통해 향상시킨다.

제안 방법

• 행렬 곱셈의 I/O 복잡도를 따라가는 I/O 복잡도를 갖는 타일 기반 QR 분해 알고리즘을 제안한다.
• 헤센베르크, 삼중대각 및 이중대각 축소에서 I/O를 줄이기 위해 띠형 중간 형식을 도입한다.
• 같은 점근적 I/O 복잡도를 갖는 재귀적 캐시 무관 알고리즘을 설계한다.
• Aggarwal-Vitter 외부 메모리 모델 하에서 I/O 복잡도를 분석하며, I/O 연산을 최소화하는 데 중점을 둔다.
• I/O를 최소화하기 위해 타일 크기를 최적화하며, 한 타일이 주 메모리에 정확히 들어갈 경우에 최고의 성능을 보임을 보여준다.
• 압축된 저장과 효율적인 I/O를 위해 하우스홀더 변환과 WY 표현을 사용한다.

실험 결과

연구 질문

• RQ1 QR 분해는 행렬 곱셈의 I/O 복잡도와 동일한 I/O 복잡도로 수행될 수 있는가?
• RQ2 기존의 블록 기반 및 비블록 기반 축소는 왜 I/O 비효율적인가? 이를 어떻게 개선할 수 있는가?
• RQ3 띠형 중간 형식은 양측 축소에서 I/O 최적성을 가능하게 할 수 있는가?
• RQ4 타일 기반 QR 알고리즘에서 I/O 효율성을 위한 최적의 타일 크기는 무엇인가?
• RQ5 재귀적 캐시 무관 알고리즘은 기존의 최고의 I/O 최적 알고리즘과 동일한 I/O 복잡도를 달성할 수 있는가?

주요 결과

• 타일 기반 QR 알고리즘은 행렬 곱셈과 점근적으로 동일한 I/O 복잡도를 달성한다.
• 최적의 타일 크기는 정확히 한 타일이 주 메모리에 들어갈 경우이며, 이때 I/O 연산이 최소화된다.
• 제안된 알고리즘은 기존의 타일 기반 접근 방식보다 상수 요인의 성능 향상을 달성한다.
• 헤센베르크, 삼중대각 및 이중대각 축소를 위한 첫 번째 I/O 최적 알고리즘이 띠형 중간 형식을 사용하여 제시된다.
• 재귀적 캐시 무관 알고리즘은 행렬 곱셈의 I/O 복잡도를 따라, 최적의 성능을 달성한다.
• 슬랩 기반 알고리즘의 두 측 축소에 대한 I/O 복잡도가 최적임을 초과함을 보여주며, 새로운 접근 방식의 동기를 제공한다.