[논문 리뷰] Out-of-core singular value decomposition

Vadim Demchik, Miroslav Bačák외 1명|arXiv (Cornell University)|2019. 07. 15.

Matrix Theory and Algorithms참고 문헌 15인용 수 5

한 줄 요약

이 논문은 메모리가 제한된 시스템에서도 무한히 큰 밀도 및 희소 행렬의 효율적 SVD 분해를 가능하게 하는 완전히 외부 메모리 기반의 확장 가능하고 병렬 처리가 가능한 랜덤화 특이값 분해(SVD) 솔루션인 ExB SVD 라이브러리를 제시한다. 블록 순환 데이터 분포와 지속적 외부 저장소를 활용하여, 메모리 효율적 처리, 자동 로드 밸런싱, 정밀도 유연성, 재시작 가능한 계산을 지원하며, 고성능 슈퍼컴퓨터가 필요 없이 일반 하드웨어에서도 대규모 SVD를 수행할 수 있다.

ABSTRACT

Singular value decomposition (SVD) is a standard matrix factorization technique that produces optimal low-rank approximations of matrices. It has diverse applications, including machine learning, data science and signal processing. However, many common problems involve very large matrices that cannot fit in the main memory of commodity computers, making it impractical to use standard SVD algorithms that assume fast random access or large amounts of space for intermediate calculations. To address this issue, we have implemented an out-of-core (external memory) randomized SVD solution that is fully scalable and efficiently parallelizable. This solution factors both dense and sparse matrices of arbitrarily large size within arbitrarily small memory limits, efficiently using out-of-core storage as needed. It uses an innovative technique for partitioning matrices that lends itself to out-of-core and parallel processing, as well as memory and I/O use planning, automatic load balancing, performance tuning, and makes possible a number of other practical enhancements to the current state-of-the-art. Furthermore, by using persistent external storage (generally HDDs or SSDs), users can resume interrupted operations without having to recalculate previously performed steps, solving a major practical problem in factoring very large matrices.

연구 동기 및 목표

• 일반 하드웨어에서 주 메모리 용량을 초월하는 매우 큰 행렬에 대해 SVD를 수행하는 데 발생하는 증가하는 과제를 해결하기 위해.
• 극한의 메모리 제약 조건 하에서도 효율적으로 작동하는 확장 가능하고 병렬 처리가 가능하며 장애 내성적인 외부 메모리 SVD 알고리즘을 설계하기 위해.
• 매트릭스당 주 메모리가 1 KB 밖에 없는 시스템에서도 지속적 저장소(HDD/SSD)를 활용해 중간 데이터를 저장함으로써 실용적인 SVD 계산을 가능하게 하기 위해.
• 데이터 변환 없이도 가변 정밀도(단정밀도, 더블 정밀도, 반정밀도) 및 하이브리드 희소/밀도 행렬 연산을 지원하기 위해.
• 부분 결과를 지속적으로 저장하여 중단된 계산을 재시작할 수 있도록 복구 기능을 제공하기 위해.

제안 방법

• 이 방법은 큰 행렬을 작은 부분행렬으로 나누어 주 메모리에 항상 작은 관리 가능한 데이터 부분만 유지할 수 있도록 블록 순환 데이터 분포를 사용한다.
• 핵심 메모리 사용량을 최소화한 채로 Halko, Martinsson, 및 Tropp의 랜덤화 SVD 근사 알고리즘을 외부 메모리 실행에 적합하게 변형한 알고리즘을 적용한다.
• 메모리 고갈을 방지하고 유연한 작업 우선순위 지정을 가능하게 하기 위해 사전 계산 메모리 사용량 추정 및 작업 스케줄링을 수행한다.
• 희소 행렬에 대해 단정밀도, 더블 정밀도, 반정밀도 간 직접적인 정밀도 간 연산과 32/64비트 인덱스를 지원하여 데이터 변환 오버헤드를 최소화한다.
• 중간 결과를 외부 저장소(HDD/SSD)에 저장하여 중단 후 복구가 가능하도록 한다.
• 자동 로드 밸런싱을 지원하며, 입출력 작업에 대해 효율적인 다중 스레드 데이터 포맷 변환을 제공한다.

실험 결과

연구 질문

• RQ1 매우 큰 행렬이 주 메모리 용량을 초월하는 경우에도 완전히 외부 메모리 기반의 랜덤화 SVD 알고리즘이 가능하게 할 수 있는가?
• RQ2 주 메모리가 극히 제한된 시스템에서 SVD 계산 중 실시간으로 메모리 사용량을 예측하고 관리할 수 있는가?
• RQ3 반정밀도, 단정밀도와 같은 정밀도 저하가 외부 메모리 환경에서 랜덤화 SVD의 정확도와 안정성에 어느 정도 영향을 미치는가?
• RQ4 중간 결과를 디스크에 지속적으로 저장하여 외부 메모리 SVD를 장애 내성적으로 만들 수 있는가? 중단 후 복구가 가능한가?
• RQ5 전통적인 내부 메모리 또는 I/O 비효율적인 접근 방식에 비해, 블록 순환 데이터 분포는 외부 메모리 SVD에 얼마나 효율적으로 적용될 수 있는가?

주요 결과

• ExB SVD 라이브러리는 매트릭스당 주 메모리가 1 KB 뿐인 Lenna 이미지에 대해 랭크-50 SVD 근사를 성공적으로 수행하여 극한의 메모리 제약 조건 하에서도 가능성을 입증했다.
• 반정밀도, 단정밀도, 더블 정밀도를 사용한 이미지 복원 결과는 시각적으로 거의 차이가 없었으며, 이는 정밀도 저하가 결과 품질에 크게 영향을 주지 않는다는 것을 시사한다.
• 반정밀도 부동소수점 산술 조건에서도 라이브러리는 안정적이고 정확한 SVD 근사를 달성했으며, 이는 수치 노이즈에 강건하며 GPU 가속화의 잠재력을 지닌다는 것을 의미한다.
• 시스템은 재시작 가능한 계산을 지원한다: 완료된 단계를 다시 계산하지 않고도 부분 결과에서 중단된 작업을 복원할 수 있어 장애 내성성이 크게 향상된다.
• 메모리 예측 및 작업 분해 메커니즘은 메모리 고갈을 방지하고 효율적인 스케줄링을 가능하게 하여 Docker 컨테이너와 같은 제약 조건이 있는 환경에서도 작동 가능하게 한다.
• 라이브러리의 하이브리드 희소/밀도 연산 및 직접적인 정밀도 간 산술 연산 지원은 데이터 이동을 줄이고 I/O 효율성을 향상시킨다.