[논문 리뷰] Iterative Pre-Conditioning for Expediting the Gradient-Descent Method: The Distributed Linear Least-Squares Problem

Kushal Chakrabarti, Nirupam Gupta외 1명|arXiv (Cornell University)|2020. 08. 06.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 서버-에이전트 네트워크에서 분산 선형 최소제곱 문제의 경사하강법을 가속화하기 위한 반복적 프리컨디셔닝 기법을 제안한다. 적응적으로 프리컨디셔닝 행렬을 업데이트함으로써, 해가 유일할 경우 초선형 수렴을 달성하고, 표준 및 가속 경사하강법보다 훨씬 빠른 수렴 속도를 확보하며, 특히 악조건화된 설정에서 뛰어난 성능을 보이며, 이상적 조건과 노이즈 있는 조건 하에서 실제 데이터셋을 통한 검증을 통해 입증된다.

ABSTRACT

This paper considers the multi-agent linear least-squares problem in a server-agent network. In this problem, the system comprises multiple agents, each having a set of local data points, that are connected to a server. The goal for the agents is to compute a linear mathematical model that optimally fits the collective data points held by all the agents, without sharing their individual local data points. This goal can be achieved, in principle, using the server-agent variant of the traditional iterative gradient-descent method. The gradient-descent method converges linearly to a solution, and its rate of convergence is lower bounded by the conditioning of the agents' collective data points. If the data points are ill-conditioned, the gradient-descent method may require a large number of iterations to converge. We propose an iterative pre-conditioning technique that mitigates the deleterious effect of the conditioning of data points on the rate of convergence of the gradient-descent method. We rigorously show that the resulting pre-conditioned gradient-descent method, with the proposed iterative pre-conditioning, achieves superlinear convergence when the least-squares problem has a unique solution. In general, the convergence is linear with improved rate of convergence in comparison to the traditional gradient-descent method and the state-of-the-art accelerated gradient-descent methods. We further illustrate the improved rate of convergence of our proposed algorithm through experiments on different real-world least-squares problems in both noise-free and noisy computation environment.

연구 동기 및 목표

• 악조건화된 데이터로 인해 분산 선형 최소제곱 문제에서 경사하강법의 수렴 속도가 느려지는 문제를 해결한다.
• 에이전트가 원시 로컬 데이터를 서버와 공유하지 않는 프라이버시 보존형 협업 학습을 가능하게 한다.
• 조건수의 사전 지식이 필요 없이 데이터 조건에 적응하는 강력한 반복적 프리컨디셔닝 메커니즘을 개발한다.
• 특히 조건수가 높은 상황에서 기존 방법보다 수렴 속도를 향상시키되, 분산형이며 통신 효율적인 운영 방식을 유지한다.
• 실제 데이터셋을 사용하여 이상적 환경과 노이즈 있는 환경에서의 성능 향상을 입증한다.

제안 방법

• 에이전트가 로컬 기울기를 계산하고 이를 중앙 서버에 집계하는 서버-에이전트 네트워크 아키텍처를 도입한다.
• 각 반복마다 헤시안 근사의 조건수를 향상시키기 위해 업데이트되는 반복적 프리컨디셔닝 행렬 $ K(t) $ 를 제안한다.
• 프리컨디셔닝된 기울기 갱신은 $ x(t+1) = x(t) - K(t)^{-1} \sum_{i=1}^m g^i(t) $ 로 정의되며, 여기서 $ g^i(t) $ 는 에이전트 $ i $ 에서의 로컬 기울기이다.
• 헤시안 행렬을 명시적으로 계산하지 않고도 기울기 차이를 기반으로 한 재귀적 공식을 사용하여 프리컨디셔닝 행렬 $ K(t) $ 를 업데이트함으로써 적응적 조건화를 가능하게 한다.
• 통신 오버헤드가 최소화된 동기식 분산 방식으로 운영되며, 기울기와 프리컨디셔닝 업데이트만 교환된다.
• 이론적 분석 결과, 해가 유일할 경우 초선형 수렴을 달성하며, 일반적인 경우에도 GD, NAG, HBM, APC 와 비교해 개선된 선형 수렴 속도를 보인다.

실험 결과

연구 질문

• RQ1 반복적 프리컨디셔닝은 분산 최소제곱 문제에서 고조건수 데이터가 경사하강법 수렴에 악영향을 미치는 것을 완화할 수 있는가?
• RQ2 제안된 방법은 이상적 환경과 노이즈 있는 환경 모두에서 기존의 및 가속 경사하강법보다 더 빠른 수렴을 달성하는가?
• RQ3 전역 헤시안 정보가 필요 없이 분산 환경에서 프리컨디셔닝 메커니즘을 반복적으로 업데이트할 수 있는가?
• RQ4 최소제곱 문제의 해가 유일할 경우와 아닐 경우에 제안된 알고리즘의 수렴 행동은 어떻게 되는가?
• RQ5 시스템 노이즈가 존재할 경우, 특히 BFGS 및 기타 준뉴턴 방법과 비교해 알고리즘의 성능은 어떠한가?

주요 결과

• 최소제곱 문제의 해가 유일할 경우 제안된 알고리즘이 초선형 수렴을 달성하며, 표준 경사하강법 및 가속 방법보다 뛰어난 성능을 보인다.
• 일반적인 경우, 알고리즘은 GD, 네스테로프 가속 경사하강법(NAG), 헤비볼 방법(HBM), 가속 프로젝션-공동체 방법(APC)보다 더 빠른 선형 수렴 속도를 나타낸다.
• 실제 데이터셋인 "ash608" 과 "gr_30_30" 에서, 제안된 방법의 점근적 추정 오차는 0 이며, GD, NAG, HBM, APC 는 비영 오차를 보인다.
• 노이즈 있는 환경에서는 오차가 유한하게 유지되며, 헤시안 근사에서 특이성 문제로 인해 360 반복 이후 오차가 무한히 증가하는 BFGS 와는 달리 성능이 뛰어나다.
• 알고리즘의 수렴 속도는 시스템 노이즈에 대해 강건하며, 테스트된 데이터셋 전반에서 GD, NAG, HBM, APC, BFGS 와 비교해 점근적 오차 노름이 훨씬 낮다.
• 실험 결과는 제안된 방법이 최신 기술보다 더 빠르고 신뢰성 있게 수렴함을 확인하며, 특히 악조건화 및 노이즈 있는 환경에서 뛰어난 성능을 발휘한다.