[논문 리뷰] A Hierarchical Singular Value Decomposition Algorithm for Low Rank Matrices

V. Vasudevan, M. Ramakrishna|arXiv (Cornell University)|2017. 10. 08.

Matrix Theory and Algorithms참고 문헌 4인용 수 26

한 줄 요약

이 논문은 조건수의 블록 기반 특이값 분해(SVD) 알고리즘을 제안하며, 밀도 높은 대규모 행렬의 효율적이고 낮은 질서 근사화를 위해 블록의 순차적 융합 및 잘라내기 기법을 사용한다. 이 방법은 전체 SVD에 비해 최대 2배의 성능 향상을 달성하며, 단일 코어에서도 조건수를 유지하면서 낮은 질서 행렬의 오차가 3% 이내로 유지된다. 이는 이중 행과 열 기반 분할 기반으로 임의의 행렬 차원을 지원한다.

ABSTRACT

Singular value decomposition (SVD) is a widely used technique for dimensionality reduction and computation of basis vectors. In many applications, especially in fluid mechanics and image processing the matrices are dense, but low-rank matrices. In these cases, a truncated SVD corresponding to the most significant singular values is sufficient. In this paper, we propose a tree based merge-and-truncate algorithm to obtain an approximate truncated SVD of the matrix. Unlike previous methods, our technique is not limited to "tall and skinny" or "short and fat" matrices and it can be used for matrices of arbitrary size. The matrix is partitioned into blocks and the truncated SVDs of blocks are merged to obtain the final SVD. If the matrices are low rank, this algorithm gives significant speedup over finding the truncated SVD, even when run on a single core. The error is typically less than 3\%.

연구 동기 및 목표

• 유체역학 및 영상 처리 분야에서 흔히 볼 수 있는 밀도 높은 대규모 낮은 질서 행렬에 대해 전체 SVD의 계산 비효율성을 해결하기 위해.
• 이전의 분산 SVD 방법이 '긴 수직형' 또는 '짧은 수평형' 행렬에 국한되어 있다는 한계를 극복하기 위해.
• 최소한의 데이터 이동과 높은 성능을 달성하는 단일 코어 및 병렬화 가능한 확장 가능한 알고리즘 개발을 위해.
• 특이값 및 특이벡터에 대한 반복적 개선 기법을 적용하여 낮은 질서 근사의 오차를 감소시키기 위해.
• 동시적인 행과 열 기반 블록 분할을 통해 임의의 행렬 차원을 지원하는 유연한 프레임워크 제공을 위해.

제안 방법

• 알고리즘은 행과 열을 기준으로 행렬을 블록으로 나누어 임의의 크기의 행렬에 대한 계층적 처리를 가능하게 한다.
• 표준 SVD 루틴(LAPACK 등)을 사용하여 각 블록의 부분 SVD를 독립적으로 계산하며, 가장 큰 특이값과 대응하는 특이벡터만 유지한다.
• 나무 기반의 병합 및 잘라내기(MAT) 전략을 통해 자식 블록의 부분 SVD를 증분 SVD 기법을 이용해 부모 블록으로 순차적으로 융합한다.
• 각 병합 후, 임계값(병합 파rameter γ에 의해 결정됨) 이하의 특이값과 특이벡터는 잘라내어 낮은 질서를 유지하고 계산 비용을 줄인다.
• 잔차 행렬의 SVD를 재계산하고 기저 벡터를 갱신함으로써 근사치를 개선하기 위해 반복적 개선 단계를 적용한다.
• 행 기반 및 열 기반 분할을 모두 지원하여 행렬의 종횡비에 관계없이 효율적인 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 코어 환경에서 밀도 높은 낮은 질서 행렬에 대해 전체 SVD에 비해 블록 기반 계층적 SVD 알고리즘이 유의미한 성능 향상을 달성할 수 있는가?
• RQ2 다양한 블록 크기와 행렬 유형에 따라 제안된 알고리즘의 성능 및 정확도는 어떻게 변화하는가?
• RQ3 특이벡터와 특이값에 대한 반복적 개선 기법을 통해 근사 오차를 얼마나 줄일 수 있는가?
• RQ4 특이값이 서서히 감소하는 경우(예: FACES 데이터셋)에 알고리즘이 높은 정확도와 효율성을 유지하는가?
• RQ5 다양한 행렬 구조에서 성능 향상을 극대화하고 오차를 최소화하기 위한 최적의 블록 크기 설정은 무엇인가?

주요 결과

• 속도 데이터셋에서 블록 크기를 8192×64로 설정했을 때 전체 SVD에 비해 최대 약 2배의 성능 향상을 달성한다.
• FACES 데이터셋의 경우, 블록 크기를 10304×100으로 설정했을 때 오차가 최대 5%에 이르며, 주로 마지막 두 특이값의 낮은 근사화 때문이었다.
• 시험된 데이터셋 전반에 걸쳐 오차는 일반적으로 3% 이내이며, 가장 큰 오차는 가장 작은 특이값과 특이벡터에 집중되어 있다.
• 반복적 개선은 가장 의미 없는 특이벡터와 특이값의 오차를 크게 감소시키며, 실제 왼쪽 특이벡터와 근사된 왼쪽 특이벡터 간余弦 유사도를 향상시킨다.
• 블록당 열 수가 목표 질서와 가까울 때와 행 수가 클 때 성능 향상이 가장 두드러지며, 특히 특이값이 급격히 감소하는 행렬에서 그러하다.
• CFD 속도 및 밀도 행렬, ORL FACES 데이터셋을 포함한 다양한 데이터 유형에 대해 알고리즘이 뛰어난 강건성을 보이며 일관된 성능과 낮은 오차를 유지한다.