[논문 리뷰] Improving the numerical stability of fast matrix multiplication algorithms.

Grey Ballard, Austin R. Benson외 3명|arXiv (Cornell University)|2015. 07. 02.

Tensor decomposition and applications참고 문헌 19인용 수 4

한 줄 요약

이 논문은 이론적 오차 한계를 강화하고, 비정상적인 입력으로 인한 부정확성을 줄이기 위해 대각 스케일링을 도입하며, 정확도와 성능 향상을 실증적으로 검증함으로써 실용적인 빠른 행렬 곱셈 알고리즘의 수치적 안정성을 향상시킨다. 이는 빠른 알고리즘들의 수치적 비용이 수용 가능하며, 알고리즘적 개선을 통해 추가로 감소시킬 수 있음을 보여준다.

ABSTRACT

Fast algorithms for matrix multiplication, or those that perform asymptotically fewer scalar operations than the classical algorithm, have been considered primarily of theoretical interest. Aside from Strassen's original algorithm, few fast algorithms have been efficiently implemented or used in practical applications. However, there exist many practical alternatives to Strassen's algorithm with varying performance and numerical properties. While fast algorithms are known to be numerically stable, their error bounds are slightly weaker than the classical algorithm. We argue in this paper that the numerical sacrifice of fast algorithms, particularly for the typical use cases of practical algorithms, is not prohibitive, and we explore ways to improve the accuracy both theoretically and empirically. The numerical accuracy of fast matrix multiplication depends on properties of the algorithm and of the input matrices, and we consider both contributions independently. We generalize and tighten previous error analyses of fast algorithms, compare the properties among the class of known practical fast algorithms, and discuss algorithmic techniques for improving the error guarantees. We also present means for reducing the numerical inaccuracies generated by anomalous input matrices using diagonal scaling matrices. Finally, we include empirical results that test the various improvement techniques, in terms of both their numerical accuracy and their performance.

연구 동기 및 목표

• 빠른 행렬 곱셈 알고리즘이 전통적 방법보다 수치적으로 덜 안정적이라는 오랜 오해를 해결하기 위해.
• 기존 이론적 한계를 초월하여 실용적인 빠른 알고리즘의 수치적 정확도를 분석하고 향상시키기 위해.
• 입력 행렬의 성질이 빠른 행렬 곱셈에서 수치 오차에 미치는 영향을 조사하기 위해.
• 특히 수치적 부정확성을 줄이는 데 효과적인 알고리즘 기법—특히 대각 스케일링—을 개발하고 평가하기 위해.
• 제안된 기법들의 정확도 향상과 성능 트레이드오프를 실증적으로 검증하기 위해.

제안 방법

• 빠른 행렬 곱셈 알고리즘에 대한 이전 오차 분석을 일반화하고 강화하여 더 정밀한 이론적 한계를 제공하기 위해.
• 입력 행렬의 구조가 수치 오차에 미치는 영향을 분석하여 불안정성이 발생하는 경우를 규명하기 위해.
• 나쁜 조건을 가진 입력으로 인한 수치적 부정확성을 줄이기 위한 사전 처리 기법으로 대각 스케일링 행렬을 도입하기 위해.
• 다양한 빠른 알고리즘을 대상으로 수치 정확도와 성능을 평가하기 위한 실증 벤치마크를 설계하고 구현하기 위해.
• 기존의 실용적인 빠른 알고리즘들의 수치적 성질을 비교하여 안정성과 효율성 간의 트레이드오프를 규명하기 위해.
• 이론적 분석과 실증 테스트를 병행하여 스케일링 및 알고리즘 수정의 효과를 평가하기 위해.

실험 결과

연구 질문

• RQ1 실용적인 빠른 행렬 곱셈 알고리즘의 이론적 오차 한계는 전통적 알고리즘과 비교하여 어떻게 되는가?
• RQ2 입력 행렬의 성질이 빠른 행렬 곱셈에서 수치 오차를 어떻게 증폭시키는가?
• RQ3 비정상적인 입력 행렬에 대해 대각 스케일링이 수치적 부정확성을 효과적으로 줄일 수 있는가?
• RQ4 오차 감소 기법을 빠른 알고리즘에 적용할 때 정확도와 성능 간의 트레이드오프는 어떻게 되는가?
• RQ5 실용적 조건에서 정확도, 안정성, 성능의 최적 균형을 제공하는 빠른 행렬 곱셈 알고리즘은 무엇인가?

주요 결과

• 빠른 행렬 곱셈 알고리즘의 수치적 오차 한계는 일반화되고 강화되어 더 나은 이론적 안정성을 보여준다.
• 입력 행렬의 구조가 수치 오차에 상당한 영향을 미치며, 특정 행렬은 빠른 알고리즘에서 불안정성을 증폭시킨다.
• 대각 스케일링은 비정상적인 입력 행렬으로 인한 수치적 부정확성을 줄여주며, 성능을 희생시키지 않고도 오차 보장을 향상시킨다.
• 실증 결과는 제안된 기법들이 수치 정확도를 향상시키면서도 경쟁 가능한 성능을 유지함을 확인한다.
• 특히 스케일링과 정밀한 오차 분석을 통해 개선된 경우를 고려할 때, 빠른 알고리즘의 전통적 방법 대비 수치적 손실은 일반적인 사용 사례에서 기각할 수 없을 정도로 크지 않다.
• 기존 알려진 실용적인 빠른 알고리즘들 중에서 중간 계산의 조건수가 더 양호한 알고리즘이 더 강한 수치적 안정성을 보인다.