[논문 리뷰] Avoiding Communication in Proximal Methods for Convex Optimization Problems

Saeed Soori, Aditya Devarakonda외 3명|arXiv (Cornell University)|2017. 10. 24.

Sparse and Compressive Sensing Techniques참고 문헌 1인용 수 3

한 줄 요약

이 논문은 분산 볼록 최적화에서 지연과 대역폭 비용을 줄이기 위해 스위치 FISTA(СА-СFISTA)와 프락시멀 뉴턴 방법(СА-SPNM)의 커뮤니케이션 방지 변형을 제안한다. k 반복을 펼쳐내어 커뮤니케이션 주기를 k 배로 늘림으로써, 1024개 노드에서 최대 10배의 속도 향상을 달성하면서 수렴 속도와 산술 비용을 유지한다. 이는 현대 분산 아키텍처에서의 확장성 향상에 기여한다.

ABSTRACT

The fast iterative soft thresholding algorithm (FISTA) is used to solve convex regularized optimization problems in machine learning. Distributed implementations of the algorithm have become popular since they enable the analysis of large datasets. However, existing formulations of FISTA communicate data at every iteration which reduces its performance on modern distributed architectures. The communication costs of FISTA, including bandwidth and latency costs, is closely tied to the mathematical formulation of the algorithm. This work reformulates FISTA to communicate data at every k iterations and reduce data communication when operating on large data sets. We formulate the algorithm for two different optimization methods on the Lasso problem and show that the latency cost is reduced by a factor of k while bandwidth and floating-point operation costs remain the same. The convergence rates and stability properties of the reformulated algorithms are similar to the standard formulations. The performance of communication-avoiding FISTA and Proximal Newton methods is evaluated on 1 to 1024 nodes for multiple benchmarks and demonstrate average speedups of 3-10x with scaling properties that outperform the classical algorithms.

연구 동기 및 목표

• 클래식한 스위치 FISTA 및 프락시멀 뉴턴 방법이 분산 환경에서 커뮤니케이션 비용이 성능을 지배하는 데서 비롯되는 확장성 한계를 해결하기 위해.
• 대규모 볼록 최적화에서 산술 비용이나 대역폭 비용을 증가시키지 않고 커뮤니케이션 오버헤드—특히 지연—을 줄이기 위해.
• FISTA 및 프락시멀 뉴턴 방법을 k단계 펼침 기법을 사용해 재구성하여, 매 k번의 반복마다만 데이터를 교환하도록 하기 위해.
• 커뮤니케이션 방지 재구성된 알고리즘이 클래식한 형태와 동일한 수렴 행동과 안정성을 유지하는지 평가하기 위해.
• 1에서 1024개의 프로세서에 걸쳐 대규모 데이터셋에서 강력한 스케일링과 성능 향상을 입증하기 위해.

제안 방법

• 클래식한 SFISTA 및 SPNM 알고리즘을 k단계 펼쳐내어, 커뮤니케이션 전에 k번의 반복에 해당하는 업데이트를 계산함으로써 커뮤니케이션 빈도를 k 배로 감소시킴.
• 랜덤 샘플링을 사용해 계산과 커뮤니케이션의 오버랩을 도모함으로써, 분산 환경에서 효율적인 데이터 이동과 로드 밸런싱을 가능하게 함.
• 프락시멀 매핑 및 업데이트 규칙을 재구성하여 클래식한 방법과 산술적으로 동일한 결과를 유지함으로써 동일한 수렴 행동을 보장함.
• 통신 비용을 최소화하면서 수치적 안정성과 잔차 오차를 유지하기 위해 데이터 분할 전략을 적용함.
• 다양한 k 값과 하드웨어 스케일에서 공정한 성능 비교를 위해 수정된 정지 기준과 허용 오차 파라미터를 적용함.
• 최대 1024개 노드를 가진 분산 클러스터에서 합성 및 실제 데이터셋(abeone, covtype, susy)을 사용해 알고리즘을 평가함.

실험 결과

연구 질문

• RQ1 FISTA 및 프락시멀 뉴턴 방법에서 k번의 반복을 펼쳐내는 것이 수렴 속도나 산술 복잡도를 변경하지 않고 통신 비용을 줄일 수 있는가?
• RQ2 k를 증가시킬수록 대규모 데이터셋에서 분산 최적화의 지연, 대역폭 및 전체 성능에 어떤 영향을 미치는가?
• RQ3 커뮤니케이션 방지 변형이 클래식한 알고리즘의 안정성과 잔차 오차를 어느 정도 유지하는가?
• RQ4 k단계 재구성은 클래식한 구현 대비 분산 플랫폼에서 더 나은 강력한 스케일링을 가능하게 하는가?
• RQ5 다양한 데이터셋과 하드웨어 구성에서 커뮤니케이션 방지 알고리즘의 최대 달성 가능한 속도 향상은 얼마인가?

주요 결과

• CA-SFISTA 및 CA-SPNM는 클래식한 SFISTA 및 SPNM 대비 1024개 프로세서에서 최대 10배의 속도 향상을 달성하며, 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• 속도 향상은 k와 프로세서 수 증가에 따라 증가하여, 지연 비용이 k 배로 효과적으로 감소함을 입증했다.
• k단계 알고리즘은 강력한 스케일링을 보이며, 더 많은 프로세서에서 실행 시간이 감소하는 반면, 클래식한 방법은 통신 오버헤드로 인해 성능이 악화됨을 보였다.
• abalone 데이터셋에서 k=32일 때 64개 노드에서 9.63배의 속도 향상을 기록하여, 작은 데이터셋에서도 뚜렷한 성능 향상을 보였다.
• k 값이 128까지 증가하더라도 수렴 속도와 잔차 오차는 안정적으로 유지되어, 재구성 과정이 알고리즘적 행동을 손상시키지 않음을 확인했다.
• k와 프로세서 수가 증가함에 따라 성능은 대역폭에 의해 결국 제한됨을 보여주어, 대규모 스케일에서 대역폭이 한계 요소가 됨을 시사했다.