[논문 리뷰] Distributed Averaging Methods for Randomized Second Order Optimization

Burak Bartan, Mert Pilancı|arXiv (Cornell University)|2020. 02. 16.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 4

한 줄 요약

이 논문은 통신 및 계산 비용을 줄이기 위해 스케치된 헤시안 근사치를 사용하여 무작위적 제2차 최적화를 위한 편향 없는 분산 평균화 방법을 제안한다. 스케치된 해에서 편향을 제거하기 위해 정규화 및 스텝 사이즈에 대한 닫힌 형태의 공식을 제공함으로써, 추가 비용 없이 진짜 최적해로 수렴할 수 있으며, 이는 이질적이고 서버리스 컴퓨팅 환경에서 尤히 효과적이다.

ABSTRACT

We consider distributed optimization problems where forming the Hessian is computationally challenging and communication is a significant bottleneck. We develop unbiased parameter averaging methods for randomized second order optimization that employ sampling and sketching of the Hessian. Existing works do not take the bias of the estimators into consideration, which limits their application to massively parallel computation. We provide closed-form formulas for regularization parameters and step sizes that provably minimize the bias for sketched Newton directions. We also extend the framework of second order averaging methods to introduce an unbiased distributed optimization framework for heterogeneous computing systems with varying worker resources. Additionally, we demonstrate the implications of our theoretical findings via large scale experiments performed on a serverless computing platform.

연구 동기 및 목표

• 대규모 병렬 시스템에서의 확장성 제한을 초래하는, 랜덤라이즈드 제2차 최적화를 위한 평균화된 스케치된 해에서의 편향을 해결하기 위해.
• 다양한 워커 자원과 스케칭 차원을 고려한 분산 환경에서 편향 없는 파라미터 평균화 프레임워크를 개발하기 위해.
• AWS Lambda와 같은 자원 제약이 있는 서버리스 플랫폼에서 효율적이고 저비용 최적화를 가능하게 하기 위해.
• 정규화된 및 정규화되지 않은 문제에 대해 편향 보정 및 수렴에 대한 이론적 보장을 제공하기 위해.
• 서버리스 컴퓨팅 플랫폼에서 대규모 실험을 통해 확장성과 성능 향상을 입증하기 위해.

제안 방법

• 제2차 최적화에서 계산 비용을 줄이기 위해 스케칭 행렬(예: 가우시안, SJLT)을 사용하여 헤시안을 근사한다.
• 평균화된 스케치된 해에서의 편향을 제거하기 위해 정규화 계수 및 스텝 사이즈에 대한 닫힌 형태의 공식을 유도한다.
• 이질적인 워커들 간의 편향 보정 평균화를 수행하는 분산 반복적 헤시안 스케칭 알고리즘을 도입한다.
• 이론적 수렴 보장을 제공하면서도 정규화된 최소 제곱 문제와 일반적인 볼록 최적화 문제에 이 프레임워크를 적용한다.
• 워커들이 로컬 스케치된 해를 계산하고 이를 중앙 마스터에 전송하여 평균화하는 마스터-워커 아키텍처를 사용한다.
• 설정 오버헤드를 최소화하기 위해 반복 과정에서 서버리스 함수를 재사용하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 정규화가 포함된 경우, 제2차 최적화를 위한 평균화된 스케치된 해에서 편향을 어떻게 제거할 수 있는가?
• RQ2 무작위적 제2차 헤시안 근사에서 편향 없는 수렴을 보장하기 위해 정규화 및 스텝 사이즈에 대한 닫힌 형태의 공식은 무엇인가?
• RQ3 다양한 워커 능력을 지닌 이질적 컴퓨팅 시스템에서 제안된 방법은 어떻게 확장되는가?
• RQ4 제한된 노드 자원과 일시적인 실행 환경을 가진 서버리스 플랫폼에서 이 방법을 효율적으로 구현할 수 있는가?
• RQ5 대규모 최적화에서 편향 보정이 수렴 속도와 최종 해의 정확도에 어떤 영향을 미치는가?

주요 결과

• 논문은 평균화된 스케치된 해에서 편향을 제거하기 위한 정규화 계수에 대한 명시적 공식을 도출하여 진짜 최적해로 수렴함을 보장한다.
• 편향 보정을 위해서는 스케치 크기와 워커별 문제 차원에 따라 부분 문제의 정규화 계수를 조정해야 한다.
• 추가 계산 비용 없이 편향 없는 추정을 달성하여 단순 평균화보다 성능 향상을 이룬다.
• AWS Lambda에서의 실험 결과, 알고리즘이 효과적으로 확장되며, 44GB 데이터셋에서 반복이 최소 5초 내에 완료됨을 보였다.
• 가우시안 및 SJLT 스케칭 행렬이 다른 스케칭보다 우수하며, SJLT는 낮은 계산 비용과 뛰어난 성능을 제공한다.
• 효율적이고 저통신 설계 덕분에 느린 워커에 의존하지 않아 분산 시스템에서 스트래글러 문제를 완화한다.