[논문 리뷰] On the Relation Between the Randomized Extended Kaczmarz Algorithm and Coordinate Descent

Bogdan Dumitrescu|arXiv (Cornell University)|2014. 05. 27.

Stochastic Gradient Optimization Techniques참고 문헌 6인용 수 4

한 줄 요약

이 논문은 랜덤화된 좌표강하(CD)가 랭크가 꽉 찬 과정잉수 선형 최소제곱 문제를 해결하는 데 있어 랜덤화된 확장 카츠마르츠(EK) 알고리즘을 능가함을 입증한다. EK 알고리즘이 좌표강하와 카츠마르츠 단계를 번갈아 사용하는 것과 동일함을 보여줌으로써, 저자들은 CD가 더 적은 반복 횟수와 낮은 연산 횟수로 수렴함을 증명하며, 과정잉수 문제에는 CD를, 질량이 빠진 경우에는 CD 이후에 카츠마르츠를 적용하는 것이 더 우수하다고 권장한다.

ABSTRACT

In this note we compare the randomized extended Kaczmarz (EK) algorithm and randomized coordinate descent (CD) for solving the full-rank overdetermined linear least-squares problem and prove that CD needs less operations for satisfying the same residual-related termination criteria. For the general least-squares problems, we show that running first CD to compute the residual and then standard Kaczmarz on the resulting consistent system is more efficient than EK.

연구 동기 및 목표

• 랜덤화된 확장 카츠마르츠(EK)와 좌표강하(CD) 간의 계산적 관계를 선형 최소제곱 문제에 대해 분석하는 것.
• EK이 수렴 속도나 계산 비용 측면에서 CD보다 유리한 점이 있는지 확인하는 것.
• 더 나은 성능을 내기 위해 CD와 카츠마르츠를 조합한 개선된 알고리즘 전략을 제안하는 것.
• 실제 응용에서 EK를 CD 또는 CD+K로 대체할 수 있는 이론적 및 실증적 근거를 제공하는 것.

제안 방법

• 논문은 EK와 CD를 분해함으로써 비교한다: EK의 구성 요소로는 잔차 근사화를 위한 CD와 그 결과로 생기는 일관된 시스템에 대한 카츠마르츠 반복이다.
• 두 알고리즘 모두에서 랜덤한 열(CD)과 행(Kaczmarz) 선택 확률을 정의하기 위해 프로베니우스 노름을 사용한다.
• CD에서는 잔차가 A의 열공간에 투영됨으로써 업데이트되며, EK는 CD와 카츠마르츠 단계를 조합한 이중 잔차 업데이트 메커니즘을 사용한다.
• 이론적 분석에 따르면 CD는 독립적으로 최소제곱 해로 수렴하는 반면, EK는 카츠마르츠를 적용하기 전에 좋은 잔차 근사를 위해 CD에 의존한다.
• 수치 실험은 밀도가 높고 희소한 행렬에 대해 다양한 차원과 랭크를 가진 경우 CD, EK, CD+K, CD+EK+K의 정규화된 RMSE를 비교한다.
• 논문은 하이브리드 전략을 도입한다: 먼저 CD를 실행하여 잔차를 근사한 후, 일관된 시스템에 표준 카츠마르츠를 적용한다. 이 전략은 EK보다 더 효율적임을 입증했다.

실험 결과

연구 질문

• RQ1 랭크가 꽉 찬 과정잉수 최소제곱 문제에서, 랜덤화된 확장 카츠마르츠 알고리즘이 반복 횟수와 연산량 측면에서 좌표강하보다 더 빠르게 수렴하는가?
• RQ2 EK의 잔차 근사화는 수렴 품질이나 효율성에 손실 없이 좌표강하로 대체될 수 있는가?
• RQ3 일반적인 최소제곱 문제에 대해 EK 대신 좌표강하 이후 표준 카츠마르츠를 사용하는 데 계산상의 이점이 있는가?
• RQ4 반복 횟수에 따른 잔차 오차 감소 측면에서 EK는 CD 및 하이브리드 CD+K 방법과 비교해 어떻게 성능을 내는가?
• RQ5 왜 EK는 열과 행 투영을 이중으로 사용하고 있음에도 불구하고 CD를 능가하지 못하는가?

주요 결과

• 랭크가 꽉 찬 과정잉수 최소제곱 문제에서 좌표강하는 랜덤화된 확장 카츠마르츠 알고리즘보다 더 적은 반복 횟수로 수렴한다.
• CD는 EK보다 반복당 더 적은 연산을 필요로 한다. 왜냐하면 CD는 열만 사용하지만, EK는 열과 행을 모두 사용하기 때문이다.
• 랭크가 꽉 찬 과정잉수 문제에서는 CD가 EK보다 항상 더 유리하다. 수렴 속도가 더 빠르고 계산 비용이 더 낮기 때문이다.
• 랭크가 빠지거나 랭크가 알려져 있지 않은 문제에서는 CD 이후 표준 카츠마르츠(CD+K)가 EK보다 더 효율적이며, CD+EK+K와 거의 동일한 성능을 낸다.
• 수치 결과는 CD의 수렴 속도가 항상 EK보다 더 빠르며, CD+K와 CD+EK+K는 초기 반복에서 CD 자체의 성능과 거의 동일하게 나타난다.
• CD가 EK를 능가하는 데서 가장 두드러진 장점은 초기 반복에서 EK의 잔차 근사가 열악하여 카츠마르츠 단계의 품질이 떨어지기 때문이다.