[논문 리뷰] Greedy Block Gauss-Seidel Methods for Solving Large Linear Least Squares Problem

Hanyu Li, Yanjun Zhang|arXiv (Cornell University)|2020. 04. 06.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 6

한 줄 요약

이 논문은 대규모 선형 최소제곱 문제를 해결하기 위해 탐욕적 블록 가우스-Seidel(GBGS) 방법과 의사역행렬을 사용하지 않는 변형(PGBGS)을 제안한다. 각 반복에서 다중 좌표 블록을 탐욕적으로 선택하고 블록 가우스-Seidel 단계로 업데이트함으로써 GBGS 방법은 그레디언트 랜덤 좌표 저감(GRCD) 방법보다 훨씬 작은 수렴 인자(수렴 속도)를 달성하여 반복 횟수를 줄이고 수렴 속도를 높이며, PGBGS는 비용이 많이 드는 의사역행렬 계산을 피함으로써 성능을 더욱 향상시킨다.

ABSTRACT

With a greedy strategy to construct control index set of coordinates firstly and then choosing the corresponding column submatrix in each iteration, we present a greedy block Gauss-Seidel (GBGS) method for solving large linear least squares problem. Theoretical analysis demonstrates that the convergence factor of the GBGS method can be much smaller than that of the greedy randomized coordinate descent (GRCD) method proposed recently in the literature. On the basis of the GBGS method, we further present a pseudoinverse-free greedy block Gauss-Seidel method, which doesn't need to calculate the Moore-Penrose pseudoinverse of the column submatrix in each iteration any more and hence can be achieved greater acceleration. Moreover, this method can also be used for distributed implementations. Numerical experiments show that, for the same accuracy, our methods can far outperform the GRCD method in terms of the iteration number and computing time.

연구 동기 및 목표

• 고비용의 계산과 느린 수렴 속도로 인해 기존 반복적 방법이 대규모 선형 최소제곱 문제에 대해 비효율적인 점을 해결한다.
• GRCD와 같은 방법에서 단일 좌표 업데이트의 한계를 극복하기 위해 좌표 블록 선택을 통한 다중 좌표의 동시에 업데이트를 가능하게 한다.
• 의사역행렬 계산을 피함으로써 계산 오버헤드를 줄이고도 빠른 수렴 속도를 유지하는 의사역행렬을 사용하지 않는 변형을 개발한다.
• 각 반복에서 비용이 많이 드는 무어-펜로즈 의사역행렬 계산이 필요 없도록 하여 분산 환경에서의 구현을 가능하게 한다.
• 밀도 있는 행렬과 희소 행렬 모두에서 최신 기술인 GRCD 방법에 비해 반복 횟수와 계산 시간 측면에서 뛰어난 성능을 입증한다.

제안 방법

• 잔차 오차 감소를 최대화하는 탐욕 전략에 기반해 각 반복에서 좌표 색인 집합을 선택하는 탐욕적 블록 가우스-Seidel(GBGS) 방법을 제안한다.
• 블록 업데이트 규칙을 사용: $ x_{k+1} = x_k + I_{ au} A^{ op}_{ au} (b - A x_k) $, 여기서 $ A_{ au}^{ op} $는 선택된 열 부분행렬의 무어-펜로즈 의사역행렬이다.
• 잔차 크기와 열 노름을 조합한 탐욕적 선택 기준을 도입하여 수렴 속도를 빠르게 하는 제어 색인 집합 $ au $를 형성한다.
• 정규방정식 기반의 수정된 업데이트 방식을 사용하여 $ A^{ op}_{ au} $ 계산을 피하는 의사역행렬을 사용하지 않는 탐욕적 블록 가우스-Seidel(PGBGS) 방법을 개발한다.
• 목적 함수의 충분한 감소를 보장하기 위해 선형 탐색 파라미터 $ ho_k $를 도입하여 안정성과 수렴 속도를 향상시킨다.
• PGBGS 방법은 수렴 보장을 유지하면서도 반복당 계산 비용을 크게 줄여 효율적인 분산 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 가우스-Seidel 방법에서 탐욕적 블록 선택 전략이 GRCD 방법보다 더 작은 수렴 인자를 달성할 수 있는가?
• RQ2 블록 업데이트에서 의사역행렬 계산을 더 효율적인 방식으로 대체하면 수렴 성능을 훼손하지 않으면서도 계산 효율성을 향상시킬 수 있는가?
• RQ3 낮은 반복당 계산 의존도 덕분에 제안된 PGBGS 방법이 분산 환경에서 효과적으로 구현될 수 있는가?
• RQ4 밀도 있는 행렬과 희소 행렬 모두에서 GBGS 및 PGBGS 방법이 GRCD 방법에 비해 반복 횟수, 계산 시간, 총 플롭 수 측면에서 어떻게 비교되는가?
• RQ5 단일 좌표 업데이트에 비해 각 반복에서 다수의 좌표를 탐욕적으로 선택하는 것이 수렴 속도를 얼마나 가속화하는가?

주요 결과

• GBGS 방법은 GRCD 방법보다 훨씬 작은 수렴 인자를 달성하여 동일 정확도에서 반복 횟수가 적다.
• 동일 정확도($ exttt{RES} < 10^{-6} $) 조건에서, GBGS 방법은 밀도 있는 행렬과 희소 행렬 모두에서 GRCD 방법보다 상당히 적은 반복 횟수를 요구한다.
• PGBGS 방법은 유사한 총 플롭 수를 유지하면서도 비용이 많이 드는 의사역행렬 계산을 제거함으로써 GRCD 방법보다 계산 시간을 더 효과적으로 단축시킨다.
• 크기가 $ 5000 imes 1000 $ 및 $ 5000 imes 2000 $인 밀도 있는 행렬에서, PGBGS 방법은 가장 낮은 CPU 시간을 기록하며 GRCD 방법에 비해 큰 격차를 확보한다.
• 유니버시티 오브 플로리다 컬렉션의 희소 행렬(abtaha1 및 ash958)에서, GBGS 및 PGBGS 방법은 모두 GRCD 방법에 비해 반복 횟수와 계산 시간을 크게 감소시킨다.
• PGBGS 방법은 GRCD 방법과 거의 동일한 플롭 수를 유지하지만, 효율적인 블록 업데이트와 의사역행렬 계산이 없는 덕분에 더 빠른 수렴 속도를 달성한다.