[논문 리뷰] Fast Computation of Moore-Penrose Inverse Matrices

Pierre Courrieu|ArXiv.org|2008. 04. 30.

Neural Networks and Applications참고 문헌 9인용 수 25

한 줄 요약

이 논문은 높은 질량의 콜레스키 분해를 사용하여 무어-펜로즈 역행렬을 빠르게 계산하는 알고리즘을 제시한다. 이는 대규모 시스템에서 계산 시간을 크게 단축시킨다. 이 방법은 기존의 접근 방식과 유사한 의사역행렬을 생성하지만, 특히 질량 부족과 최소 노름 해가 정규화에 중요한 신경망 가중치 학습에서 더 뛰어난 효율성을 보인다.

ABSTRACT

Many neural learning algorithms require to solve large least square systems in order to obtain synaptic weights. Moore-Penrose inverse matrices allow for solving such systems, even with rank deficiency, and they provide minimum-norm vectors of synaptic weights, which contribute to the regularization of the input-output mapping. It is thus of interest to develop fast and accurate algorithms for computing Moore-Penrose inverse matrices. In this paper, an algorithm based on a full rank Cholesky factorization is proposed. The resulting pseudoinverse matrices are similar to those provided by other algorithms. However the computation time is substantially shorter, particularly for large systems.

연구 동기 및 목표

• 신경망 응용 분야에서 무어-펜로즈 역행렬을 더 빠르고 정확하게 계산하는 방법을 개발하는 것.
• 잠재적인 질량 부족이 있는 대규모 최소 제곱 시스템을 해결하는 데 따르는 계산 부담을 완화하는 것.
• 학습 알고리즘에서 입력-출력 맵핑을 정규화하는 데 필수적인 최소 노름 시냅스 가중치 벡터를 제공하는 것.
• 특히 대규모 문제에 대해 기존의 의사역행렬 계산 기법보다 효율성을 향상시키는 것.

제안 방법

• 알고리즘은 효율적인 무어-펜로즈 역행렬 계산을 위해 전_rank 콜레스키 분해를 활용한다.
• 전체 행렬 역행렬을 피하기 위해 정규 방정식의 구조를 활용한다.
• 질량을 드러내는 분해를 통해 수치적 안정성을 확보한다.
• 결과로 도출된 의사역행렬 행렬은 W = G⁺F로 시냅스 가중치를 계산하는 데 사용되며, 원본 논문에서 잘못 기재된 W = G⁺W로의 수정이 이루어졌음을 확인한다.
• 정규화와 질량 부족에 대한 강건성을 요구하는 신경망 학습 알고리즘에 특화되어 있다.

실험 결과

연구 질문

• RQ1 정확도를 희생시키지 않고 대규모 시스템에 대해 무어-펜로즈 역행렬을 더 효율적으로 계산할 수 있는가?
• RQ2 제안된 콜레스키 기반 방법은 기존의 의사역행렬 계산 기법보다 얼마나 더 빠른가?
• RQ3 알고리즘은 신경망에서 정규화에 필수적인 최소 노름 성질을 유지하는가?
• RQ4 질량 부족은 제안된 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 기존의 방법에 비해 특히 대규모 시스템에서 상당히 더 빠른 계산 시간을 달성한다.
• 기존에 널리 사용되는 알고리즘과 동일한 수치적 정확도로 무어-펜로즈 역행렬을 계산한다.
• 질량 부족 행렬을 효과적으로 처리하여 안정적이고 의미 있는 해를 보장한다.
• W = G⁺F로 잘못 기재된 W = G⁺W의 오류 수정을 통해 의사역행렬이 가중치 계산에 정확하게 적용되었음을 확인한다.