[논문 리뷰] Harnessing the Power of Serverless Runtimes for Large-Scale Optimization

Arda Aytekin, Mikael Johansson|arXiv (Cornell University)|2019. 01. 10.

Cloud Computing and Resource Management참고 문헌 22인용 수 5

한 줄 요약

이 논문은 대규모 최적화 문제를 분산 전복 방법 다중승수(ADMM)를 통해 해결하기 위해 마스터-워커 아키텍처에서 AWS Lambda 서버리스 함수를 워커로 사용하는 것을 제안한다. 이는 상태 관리 및 콜드 스타트 문제에도 불구하고 최대 256배의 상대적 속도 향상과 64명의 워커를 사용할 때 70퍼센트 이상의 효율성을 달성하여 실현 가능성을 입증한다.

ABSTRACT

The event-driven and elastic nature of serverless runtimes makes them a very efficient and cost-effective alternative for scaling up computations. So far, they have mostly been used for stateless, data parallel and ephemeral computations. In this work, we propose using serverless runtimes to solve generic, large-scale optimization problems. Specifically, we build a master-worker setup using AWS Lambda as the source of our workers, implement a parallel optimization algorithm to solve a regularized logistic regression problem, and show that relative speedups up to 256 workers and efficiencies above 70% up to 64 workers can be expected. We also identify possible algorithmic and system-level bottlenecks, propose improvements, and discuss the limitations and challenges in realizing these improvements.

연구 동기 및 목표

• 서버리스 런타임을 일반적인 대규모 최적화 문제에 효과적으로 사용할 수 있는지 탐색하기 위해.
• 서버리스 플랫폼에서 장기적으로 실행되는 상태 기반 최적화 알고리즘에서 상태 관리 및 워커의 느린 응답 문제를 해결하기 위해.
• AWS Lambda를 워커로 사용한 분산 ADMM 환경에서 성능 확장성과 효율성을 평가하기 위해.
• 서버리스 기반 최적화에서 발생하는 알고리즘적 및 시스템 수준의 병목 현상과 이를 개선하기 위한 방안을 규명하기 위해.

제안 방법

• 마스터는 관리되는 다중 코어 서버에서 실행되고 워커는 AWS Lambda 함수로 구성된 마스터-워커 아키텍처를 구현하기 위해.
• 정규화된 로지스틱 회귀 문제를 분산 방식으로 해결하기 위해 동기식 병렬 ADMM을 구현하기 위해.
• 마스터와 워커 간의 통신을 위해 포인트 투 포인트 메시지 전달 방식을 사용하고, 상태 영속성은 외부에서 관리하기 위해.
• 통신 오버헤드를 최소화하고 부하 균형을 보장하기 위해 스타 네트워크 토폴로지 구조를 사용하기 위해.
• 콜드 스타트 지연, 계산 시간, 워커의 반응성 등을 모니터링하여 성능 병목 현상을 평가하기 위해.
• 워커 타임아웃 문제를 처리하고 반복 간 상태 일관성을 보장하기 위해 장애 내성 설계 패턴을 적용하기 위해.

실험 결과

연구 질문

• RQ1 AWS Lambda와 같은 서버리스 런타임이 대규모 상태 기반 최적화 문제를 효과적으로 해결하는 데 사용될 수 있는가?
• RQ2 서버리스 워커를 분산 ADMM에 사용할 경우 성능의 한계와 확장성 특성은 무엇인가?
• RQ3 콜드 스타트 지연과 워커의 느린 응답은 서버리스 플랫폼에서 동기식 병렬 최적화의 효율성에 어떤 영향을 미치는가?
• RQ4 통신 오버헤드와 스트래글러 효과 등의 병목 현상을 완화하기 위해 어떤 알고리즘적 및 시스템 수준의 개선 조치를 취할 수 있는가?

주요 결과

• 분산 ADMM 환경에서 256명의 워커를 사용할 경우 최대 256배의 상대적 속도 향상을 달성했다.
• 최대 64명의 워커를 사용할 경우 병렬 효율성이 70퍼센트 이상 유지되어 테스트된 구성에서 강력한 확장성을 보였다.
• 계산 시간 대비 콜드 스타트 지연이 일관되게 낮았으며, 64명의 워커까지 성능 저하가 없었다.
• 워커는 높은 반응성을 보였으며, 주요 스트래글러가 없었고, 전체 반복의 10퍼센트 미만에서 가장 느린 10퍼센트의 워커가 관찰되었다.
• 결정 벡터 크기 d=10,000일 경우 통신 오버헤드는 무시할 만했지만, 더 큰 d(예: d>80,000)에서는 병목 현상이 발생했다.
• 입력 네트워크 연결이 없고, 집합적 통신 원자재(예: AllReduce)가 부족하여 기존의 HPC 패턴(예: MPI)의 사용이 제한된다.