[논문 리뷰] Superfast Accurate Low Rank Approximation

Victor Y. Pan, Qi Luan외 2명|arXiv (Cornell University)|2016. 11. 03.

Sparse and Compressive Sensing Techniques참고 문헌 66인용 수 6

한 줄 요약

이 논문은 평균 입력에서 행렬 원소 수보다 적은 연산 수로 작동하는 초고속 성능을 달성하는 두 가지 새로운 알고리즘을 제안한다. 기존의 크로스-근사 기법을 단순화하고 개선하면서 새로운 희소 다중화 기법을 도입함으로써, 평균 입력에 대해 높은 경험적 효율성과 이론적 보장을 제공한다. 또한 사전 처리를 통해 고장 날 수 있는 경우를 식별하고 이를 완화한다.

ABSTRACT

Low Rank Approximation is among most fundamental subjects of numerical linear algebra having important applications to various areas of modern computing and %they range from machine learning theory and %neural networks to data mining and analysis. The known algorithms compute such approximations by using more flops than the input matrix has entries, but we prove that much fewer flops than entries are sufficient in the case of the average input (flop stands for floating point arithmetic operation). We prove this twice -- for the solutions by means of two distinct algorithms, and we analyze them by applying two different approaches. Our analysis of both algorithms is quite involved, but we devise them mostly by simplifying, combining, and ameliorating the known techniques, although we propose some technical novelties for further enhancing the performance of the popular Cross-Approximation Algorithms. They are highly efficient empirically, and we prove that they are efficient for the average input. We specify some narrow classes of hard inputs for which the presented algorithms fail with high probability even when we randomize them, but we narrow such classes further by means of preprocessing with new sparse and structured multipliers. The average complexity estimates do not cover many realistic input classes, but our formal analysis is in good accordance with the results of our tests applied to benchmark inputs from discretized PDEs and Integral quations and to random inputs. Our work should already be of practical value but also leads to research challenges. At the end we list some of them, propose two novel extensions of our progress -- to the acceleration of the Fast Multipole Method and Conjugate Gradient algorithms, and explore and slightly extend the recent techniques of Osinsky, which enhance the output accuracy of CUR Approximation.

연구 동기 및 목표

• 행렬 원소 수보다 많은 연산을 요구하는 기존의 저질서 행렬 근사 알고리즘의 비효율성 해결.
• 평균 입력에 대해 입력 크기 대비 선형 이하의 연산 복잡도를 달성하는 알고리즘 개발.
• 새로운 기술적 개선을 통해 크로스-근사 알고리즘의 실용적 성능 및 이론적 보장을 향상.
• 기존 알고리즘이 실패할 수 있는 좁은 범위의 어려운 입력 유형을 식별하고, 구조적 희소 사전 처리를 통해 이를 완화.
• 이산화된 PDE 및 적분 방정식과 같은 실제 기준 테스트에 적용 가능성을 확장.

제안 방법

• 평균 입력 행동을 고려해 최적화된 두 가지 서로 다른 알고리즘 설계: 크로스-근사 기반.
• 두 가지 다른 분석적 접근법을 적용해 알고리즘이 평균 입력에서 선형 이하의 연산 복잡도를 달성함을 엄밀히 증명.
• 실패 확률을 줄이기 위해 입력을 사전 처리하기 위한 새로운 희소 및 구조적 다중화 기법 도입.
• 기존의 크로스-근사 기법을 단순화하고 새로운 개선 사항을 통합하여 성능 및 안정성 향상.
• 최근의 CUR 근사 기법, 특히 Osinsky의 기여를 활용해 출력 정확도 향상.
• PDE, 적분 방정식, 랜덤 행렬에서의 기준 입력에 대해 경험적으로 알고리즘 검증하여 이론적 주장 지원.

실험 결과

연구 질문

• RQ1 평균적으로 행렬 원소 수보다 적은 연산 수로 저질서 행렬 근사를 수행할 수 있는가?
• RQ2 크로스-근사 알고리즘을 어떻게 수정하면 선형 이하의 복잡도를 달성하면서도 높은 정확도를 유지할 수 있는가?
• RQ3 표준 크로스-근사 알고리즘이 실패하는 입력 유형은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 이론적 복잡도 한계가 실제 입력 유형에서 경험적 성능과 얼마나 잘 일치하는가?
• RQ5 제안된 방법을 Fast Multipole Method 및 Conjugate Gradient와 같은 다른 수치 알고리즘의 가속화에 어떻게 확장할 수 있는가?

주요 결과

• 제안된 알고리즘은 평균 입력에 대해 행렬 크기 대비 선형 이하의 연산 복잡도를 달성함을 입증하여, 행렬 원소 수보다 적은 연산 수로도 충분함을 보여준다.
• 이론적 분석을 통해 두 알고리즘이 평균적으로 효율적임을 확인하였으며, 결과를 검증하기 위해 두 가지 서로 다른 수학적 접근법을 사용하였다.
• 이산화된 PDE 및 적분 방정식에 대한 경험적 테스트에서 이론적 예측과 관측된 성능 간의 강력한 일치를 보였다.
• 알고리즘이 높은 확률로 실패할 수 있는 좁은 범위의 어려운 입력 클래스가 존재하지만, 이는 희소 구조적 다중화 기법을 통한 사전 처리로 크게 감소된다.
• 알고리즘은 경험적으로 매우 효율적이며 이미 실용적으로 유용하며, Fast Multipole Method 및 Conjugate Gradient 솔버의 가속화에 확장 가능성이 있다.
• Osinsky의 최근 기법을 통합함으로써 CUR 근사 정확도 향상에 기초를 마련하였다.