[논문 리뷰] Tsnnls: A solver for large sparse least squares problems with non-negative variables

Jason Cantarella, Michael Piatek|ArXiv.org|2004. 08. 13.

Matrix Theory and Algorithms참고 문헌 6인용 수 31

한 줄 요약

tsnnls는 대규모 희소 비음수 최소제곱(Non-Negative Least-Squares, NNLS) 문제를 해결하기 위한 블록 피벗 알고리즘의 자유롭게 이용 가능한 고성능 C 구현체이다. 희소 행렬에서 MATLAB 기반 구현체인 Matstoms의 snnls보다 최대 10배 빠르며, 최적화된 희소 코レス키 분해와 LSQR을 사용하여 비제약 하위문제를 해결함으로써 MATLAB의 lsqnonneg와 동등한 정확도를 유지한다.

ABSTRACT

The solution of large, sparse constrained least-squares problems is a staple in scientific and engineering applications. However, currently available codes for such problems are proprietary or based on MATLAB. We announce a freely available C implementation of the fast block pivoting algorithm of Portugal, Judice, and Vicente. Our version is several times faster than Matstoms' MATLAB implementation of the same algorithm. Further, our code matches the accuracy of MATLAB's built-in lsqnonneg function.

연구 동기 및 목표

• 대규모 희소 비음수 최소제곱(Non-Negative Least-Squares, NNLS) 문제를 위한 자유롭게 이용 가능한 고성능 솔버의 부족을 보완한다.
• MATLAB 또는 전용 라이브러리의 오버헤드를 피하기 위해 경량이고 이식 가능한 C 구현체를 개발한다.
• snnls와 같은 기존 MATLAB 기반 구현체보다 우수한 성능를 달성하면서도 수치적 정확도를 유지한다.
• 기계 정밀도 이하(≤10⁻¹²)에 가까운 변수를 0으로 설정하여 희소 문제에서 발생하는 수치적 탈진(degeneracy)을 처리한다.

제안 방법

• 카루시-쿤-터커(Karush-Kuhn-Tucker, KKT) 조건을 사용하여 NNLS 문제를 선형 보완 문제(LCP)로 재구성한다.
• 비가능한 변수를 활성 집합과 비활성 집합 간에 반복적으로 교환하는 수정된 블록 주요 피벗 알고리즘을 적용한다.
• 비제약 하위문제를 효율적으로 해결하기 위해 $A^T A$의 희소 코レス키 분해를 사용한다.
• 비제약 최소제곱 하위문제를 해결하기 위해 MATLAB의 백슬래시보다 빠른 LSQR을 활용한다.
• 피벗 업데이트 중 중복된 행렬 곱셈을 방지하기 위해 캐싱을 구현한다.
• 기계 정밀도 이하($10^{-12}$)인 해상의 변수를 0으로 설정하여 탈진 케이스에서의 순환을 방지하기 위해 수치적 안정화 전략을 적용한다.

실험 결과

연구 질문

• RQ1 자유롭게 이용 가능한 C 기반의 블록 피벗 알고리즘 구현체가 NNLS 문제에서 MATLAB 기반 솔버보다 성능과 확장성 면에서 뛰어나게 구현될 수 있는가?
• RQ2 tsnnls의 성능는 대규모 희소 및 조밀 행렬에서 snnls와 MATLAB의 lsqnonneg와 비교해 어떻게 되는가?
• RQ3 알고리즘의 비제약 하위문제 해결에 있어 LSQR과 MATLAB의 백슬래시를 사용할 경우의 영향은 무엇인가?
• RQ4 10⁻¹² 임계값 전략이 탈진 문제에서 수치적 순환을 방지하는 데 얼마나 효과적인가?
• RQ5 비록 피벗 수가 유사하게 유지되지만, 왜 tsnnls는 희소 행렬에서 상대적으로 더 큰 성능 향상을 보이는가?

주요 결과

• 밀도 0.01인 희소 행렬에서 tsnnls는 snnls보다 최대 10배 빠르며, 희소성 증가에 따라 비례 상수는 감소한다.
• 조밀 행렬에서는 최적화된 캐싱 덕분에 tsnnls가 snnls보다 몇 배나 더 빠르다.
• tsnnls에서는 최종 비제약 해법 단계가 총 실행 시간의 5% 미만을 차지한다(이 경우 LSQR 사용), 반면 snnls에서는 MATLAB의 백슬래시를 사용해 거의 50%를 차지한다.
• tsnnls는 MATLAB 내장 함수인 lsqnonneg와 동등한 정확도를 유지한다. 그러나 이 함수는 훨씬 느리며 대규모 문제에 적합하지 않다.
• 500×490 조밀 행렬에서 lsqnonneg는 100초 이상 소요되었지만, tsnnls와 snnls 모두 1초 이내에 완료되었다.
• tsnnls가 희소 문제에서 성능 우위를 보이는 것은 피벗 수의 차이 때문이 아니라, LSQR의 효율적 사용 덕분이며, 밀도에 관계없이 피벗 수는 안정적으로 유지되었다.