[논문 리뷰] Randomized Compression of Rank-Structured Matrices Accelerated with Graph Coloring

James J. Levitt, Per‐Gunnar Martinsson|arXiv (Cornell University)|2022. 05. 06.

Topological and Geometric Data Analysis참고 문헌 26인용 수 5

한 줄 요약

이 논문은 랭크-구조 행렬(예: H-행렬 및 HODLR 행렬)을 압축하기 위한 랜덤 알고리즘을 제시한다. 그래프 색칠 기법을 사용해 행렬-벡터 곱셈을 위한 테스트 벡터를 최적화한다. 계층적 트리 구조를 그래프 색칠 문제로 재구성함으로써, 필요한 행렬-벡터 곱의 수를 감소시켜, 특히 3차원 공간의 표면과 같은 저차원 다양체에서 유래한 행렬에 대해 더 빠르고 정확한 압축을 달성한다.

ABSTRACT

A randomized algorithm for computing a data sparse representation of a given rank structured matrix $A$ (a.k.a. an $H$-matrix) is presented. The algorithm draws on the randomized singular value decomposition (RSVD), and operates under the assumption that algorithms for rapidly applying $A$ and $A^{*}$ to vectors are available. The algorithm analyzes the hierarchical tree that defines the rank structure using graph coloring algorithms to generate a set of random test vectors. The matrix is then applied to the test vectors, and in a final step the matrix itself is reconstructed by the observed input-output pairs. The method presented is an evolution of the "peeling algorithm" of L. Lin, J. Lu, and L. Ying, "Fast construction of hierarchical matrix representation from matrix-vector multiplication," JCP, 230(10), 2011. For the case of uniform trees, the new method substantially reduces the pre-factor of the original peeling algorithm. More significantly, the new technique leads to dramatic acceleration for many non-uniform trees since it constructs sample vectors that are optimized for a given tree. The algorithm is particularly effective for kernel matrices involving a set of points restricted to a lower dimensional object than the ambient space, such as a boundary integral equation defined on a surface in three dimensions.

연구 동기 및 목표

• 매트릭스-벡터 곱 접근만을 사용하여 데이터 스퍼스 표현을 생성하는 블랙박스 방법을 개발하기 위해.
• 이전의 페링 알고리즘에 비해 비균일한 계층적 트리에 대해 압축 복잡도의 프리팩터를 감소시키기 위해.
• 표면와 같은 저차원 기하 구조에서 유래한 행렬의 압축에서 효율성과 정확도를 향상시키기 위해.
• 스parser direct solvers에서 역행렬 계산 및 슈어 보조행렬 계산과 같은 빠른 행렬 연산을 가능하게 하기 위해.
• 클러스터 트리 구조에 기반한 그래프 색칠을 통해 테스트 벡터 선택을 최적화하여 행렬-벡터 곱의 수를 최소화하기 위해.

제안 방법

• 랭크-구조 행렬의 계층적 클러스터 트리를 그래프 색칠 문제로 재구성하여, 랜덤 테스트 벡터 선택을 안내한다.
• 최적화된 테스트 행렬 Ω 및 Ψ를 그래프 색칠을 통해 생성하여, 매 행렬-벡터 곱당 최대의 정보 획득을 보장한다.
• 행렬 A와 그 수반행렬 A*를 테스트 벡터에 적용하여 Y = AΩ 및 Z = A*Ψ를 얻는다. 이는 입력-출력 행동을 캡처한다.
• 관측된 입력-출력 쌍과 랜덤 SVD 기법을 사용하여 행렬을 재구성하고, 저랭크 요소를 추출한다.
• 트리 깊이와 클러스터 연결성을 기반으로 테스트 벡터를 할당하여 비균일 트리에 적응함으로써, 중복 연산을 감소시킨다.
• 기존의 빠른 다체법 또는 계층적 행렬 곱셈 루틴을 A와 A*에 대한 블랙박스 접근으로 활용한다.

실험 결과

연구 질문

• RQ1 클러스터 트리 구조에 대한 그래프 색칠이, 랜덤 행렬 압축을 위한 행렬-벡터 곱의 수를 줄일 수 있는가?
• RQ2 균일하고 비균일한 계층적 트리에 대해, 제안된 방법이 원래의 페링 알고리즘에 비해 효율성과 정확도에서 어떻게 비교되는가?
• RQ3 3차원 공간의 표면과 같은 저차원 다양체에서 유래한 행렬에 대해, 이 방법이 얼마나 압축을 가속화하는가?
• RQ4 스parse direct solvers의 슈어 보조행렬에 대해 이 방법을 효과적으로 적용할 수 있는가? 여기서 랭크 구조는 인수분해 과정에서 나타난다.
• RQ5 그래프 색칠 기반 테스트 벡터 선택은 균일 샘플링에 비해 압축 정확도를 향상시키고 저장 비용을 낮출 수 있는가?

주요 결과

• 균일 트리에 대해선 행렬-벡터 곱의 수의 프리팩터를 8^d 에서 6^d 로 감소시켜 효율성이 크게 향상된다.
• 비균일 트리에 대해서는, 특히 저차원 다양체(예: 표면)에서 유래한 트리에 대해 적응형 샘플링 덕분에 압축 속도 향상이 뚜렷하다.
• 압축 시간은 매트릭스 크기 N에 대해 준선형적으로 증가하며, 대부분의 시간은 행렬-벡터 곱에 소요되므로, 이러한 호출 수를 최소화하는 것이 중요하다.
• 모든 테스트 케이스에서 높은 정확도를 달성하였고, H^1 형식의 경우 저장 비용은 로그적으로 증가하고, H^2 형식의 경우 거의 일정하게 유지된다.
• 빠른 다체법(FMM) 예제에서는 정확도가 기반 FMM 정확도와 일치하여, 압축 과정에서 정확도 손실이 없다는 것을 보여준다.
• 균일 H^1 압축 기법이 H^1 + 균일 기법보다 압축 속도, 정확도, 저장 효율성에서 뛰어나다.