[논문 리뷰] Optimal Approximation of Doubly Stochastic Matrices

Nikitas Rontsis, Paul J. Goulart|arXiv (Cornell University)|2019. 10. 11.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 행렬 C의 이중 확산 행렬 집합 내에서 최소 제곱 근사화를 위한 효율적인 ADMM 기반 알고리즘을 제안한다. 이 행렬은 C의 흐าก은 패턴을 유지한다. C + I의 초기 콜레스키 분해와 선형 복잡도의 반복을 활용함으로써, 최대 8200만 개의 비제로 원소를 가진 행렬에 대해 밀리초 수준의 스케일링 성능을 달성하며, 게놈학, 클러스터링 및 흐린 행렬 응용 분야에서 뛰어난 속도와 확장성을 입증한다.

ABSTRACT

We consider the least-squares approximation of a matrix C in the set of doubly stochastic matrices with the same sparsity pattern as C. Our approach is based on applying the well-known Alternating Direction Method of Multipliers (ADMM) to a reformulation of the original problem. Our resulting algorithm requires an initial Cholesky factorization of a positive definite matrix that has the same sparsity pattern as C + I followed by simple iterations whose complexity is linear in the number of nonzeros in C, thus ensuring excellent scalability and speed. We demonstrate the advantages of our approach in a series of experiments on problems with up to 82 million nonzeros; these include normalizing large scale matrices arising from the 3D structure of the human genome, clustering applications, and the SuiteSparse matrix library. Overall, our experiments illustrate the outstanding scalability of our algorithm; matrices with millions of nonzeros can be approximated in a few seconds on modest desktop computing hardware.

연구 동기 및 목표

• 대규모 행렬을 이중 확산 행렬로 효율적으로 근사화하면서도 그 흐릿한 패턴을 유지하는 문제를 해결하기 위해.
• 행렬 C의 최소 제곱 근사화에서 높은 정확도를 유지하면서도 확장 가능한 최적화 방법을 개발하기 위해.
• 3D 게놈 구조나 SuiteSparse에서 유래한 행렬과 같은 거대한 행렬에 대한 실용적인 계산을 가능하게 하기 위해 계산 오버헤드를 최소화하기 위해.
• 반복마다 선형 시간 복잡도를 달성하여 수백만 개의 비제로 원소를 가진 행렬에서도 성능을 유지를 하기 위해.

제안 방법

• 이중 확산 행렬 근사 문제를 재구성하여 분할 상환 방법(ADMM)의 적용을 가능하게 한다.
• C가 목표 행렬과 동일한 흐릿한 패턴을 가진다는 전제에서 C + I에 대한 초기 콜레스키 분해를 수행한다.
• 희소성 구조를 활용한 반복 업데이트를 설계하여, 각 반복이 C의 비제로 원소 수에 비례하여 선형적으로 증가하도록 보장한다.
• 희소성 구조를 활용해 계산 효율성을 유지하고 밀도 있는 행렬 연산을 피한다.
• ADMM의 교대 업데이트를 사용해 행과 열의 합이 모두 1이 되는 이중 확산 제약 조건을 강제하면서 C로부터의 프로베니우스 노름 차이를 최소화한다.
• ADMM 프레임워크 내에서 이중 상승 및 페널티 파라미터 업데이트를 통해 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 큰 흐린 행렬을 이중 확산 행렬로 효율적이고 확장 가능한 방법으로 근사화하면서도 그 흐릿한 패턴을 유지할 수 있는가?
• RQ2 제안된 ADMM 기반 방법은 비제로 원소 수가 최대 8200만 개인 행렬에서 런타임과 정확도 측면에서 어떻게 성능을 발휘하는가?
• RQ3 C + I의 콜레스키 분해는 얼마나 더 빠른 수렴과 낮은 반복 비용을 가능하게 하는가?
• RQ4 3D 게놈학과 클러스터링과 같은 다양한 실제 응용 분야에서 이 방법은 어떻게 확장되는가?
• RQ5 SuiteSparse 컬렉션과 같은 표준 흐린 행렬 벤치마크에서 이 알고리즘의 실용적 성능은 어떠한가?

주요 결과

• 표준 데스크톱 하드웨어에서 비제로 원소 수가 최대 8200만 개인 행렬에 대해 밀리초 수준의 근사 시간을 달성한다.
• 반복 복잡도가 C의 비제로 원소 수에 비례하는 선형 복잡도를 보이며 뛰어난 확장성을 입증한다.
• C + I의 초기 콜레스키 분해가 후속 ADMM 반복에서 효율적이고 안정적인 업데이트를 가능하게 한다.
• 정확한 이중 확산 제약 조건을 강제하면서도 최소 제곱 근사에서 높은 정확도를 유지한다.
• 게놈학, 클러스터링 및 SuiteSparse 행렬에 대한 실험을 통해 다양한 실제 응용 분야에서 견고한 성능을 입증한다.