[논문 리뷰] Distributed Optimization for Over-Parameterized Learning

Chi Zhang, Qianxiao Li|arXiv (Cornell University)|2019. 06. 14.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 과다 매개변수화된 학습을 위한 분산 최적화 프레임워크를 제안하며, 각 노드가 서버와 통신하기 전에 임의의 수의 국소 업데이트—심지어 무한히—를 수행할 수 있도록 한다. 국소 최적 집합이 교차한다는 핵심 가정 하에, 이 방법은 통신 빈도를 감소시키며 수렴성을 확보하여, 볼록 최적화 및 딥 러닝 환경에서 상당한 통신 비용 절감을 가능하게 한다.

ABSTRACT

Distributed optimization often consists of two updating phases: local optimization and inter-node communication. Conventional approaches require working nodes to communicate with the server every one or few iterations to guarantee convergence. In this paper, we establish a completely different conclusion that each node can perform an arbitrary number of local optimization steps before communication. Moreover, we show that the more local updating can reduce the overall communication, even for an infinity number of steps where each node is free to update its local model to near-optimality before exchanging information. The extra assumption we make is that the optimal sets of local loss functions have a non-empty intersection, which is inspired by the over-paramterization phenomenon in large-scale optimization and deep learning. Our theoretical findings are confirmed by both distributed convex optimization and deep learning experiments.

연구 동기 및 목표

• 통신 병목 현상을 해결하기 위해, 수렴성을 유지하면서도 장기적인 국소 업데이트 단계를 허용하는 분산 기계학습 최적화 기법을 개발한다.
• 임의의 국소 최적화 단계(무한 단계 포함)가 여전히 분산 환경에서 수렴을 보장할 수 있는지 조사한다.
• 국소 업데이트를 늘임으로써 총 통신 비용을 절감할 수 있는 이론적 및 실험적 조건을 규명한다.
• 딥 러닝에서의 과다 매개변수화를 볼록 탐색 문제와 연결하여, 새로운 최적화 전략을 가능하게 한다.

제안 방법

• 서버와 통신하기 전에 각 노드가 $ T_i $개의 국소 경사하강법 단계를 수행하는 분산 경사하강 알고리즘을 도입한다.
• 교차 가정에 의존: $ S = \bigcap_{i=1}^m S_i $, 여기서 $ S_i $는 국소 손실 $ f_i $의 최적 집합이며, 공통 최소화자가 존재함을 보장한다.
• 볼록성과 제한된 강한 볼록성 하에서 수렴성을 분석하여, $ T_i $가 임의의 값(포함해 $ T_i = \tau $)일 때도 수렴을 증명한다.
• 최적화와 통신을 균형 잡는 총 비용 경계를 유도하며, $ C_{\text{total}} $를 최소화하기 위해 $ T $, 즉 국소 단계 수를 최적화한다.
• 수렴 속도의 渐近 분석(선형 대 비선형)을 통해, 국소 수렴 속도에 따라 최적의 $ T^* $를 유도한다.
• 볼록 문제와 딥 러닝(예: 4차 손실을 가진 암 데이터셋)에서 프레임워크를 실험적으로 검증하여, $ T_i $가 클수록 통신 횟수 감소를 확인한다.

실험 결과

연구 질문

• RQ1 각 노드가 통신 전에 임의의 수의 국소 업데이트를 수행할 경우, 분산 최적화가 여전히 수렴할 수 있는가?
• RQ2 국소 업데이트 수를 늘일수록 항상 총 통신 비용이 감소하는가?
• RQ3 과다 매개변수화 조건에서 어떤 조건에서 분산 환경에서 통신 효율적인 최적화가 가능해지는가?
• RQ4 국소 최적화와 통신 간의 트레이드오프를 최적 성능을 위해 정량적으로 균형 잡을 수 있는가?
• RQ5 국소 최적 집합의 교차 가정 하에, 전통적인 분산 알고리즘의 수렴 보장 조건를 완화할 수 있는가?

주요 결과

• 국소 최적 집합의 교차 가정이 비어 있지 않다면, 임의의 국소 업데이트 수 $ T_i $, 포함해 $ T_i = \tau $ (무한 단계)일 경우에도 수렴이 보장된다.
• 선형 수렴하는 국소 문제(예: 강한 볼록성)의 경우, 최적의 국소 단계 수 $ T^* $는 $ \log(1/r) $ 비례하며, 여기서 $ r $은 통신 빈도이다.
• 비선형 수렴하는 문제(예: 4차 손실)의 경우, $ T^* $는 $ r^{-1/\beta} $ 비례하며, 이는 느린 수렴 속도에서 총 비용을 최소화하기 위해 더 많은 국소 단계가 필요함을 시사한다.
• 총 통신 비용 $ C_{\text{total}} $ 는 국소 최적화 속도와 통신 빈도를 균형 잡는 것으로 최소화되며, 최적의 $ T^* $에 대한 명시적 공식이 도출되었다.
• 4차 손실을 가진 암 데이터셋에 대한 실험 결과, $ T_i $가 클수록 통신 라운드 수가 감소함을 확인하였으며, 특히 기울기가 비선형적으로 감소할 경우 두드러진다.
• 프레임워크는 관측된 국소 수렴 속도에 기반해 $ T $를 적응적으로 조정할 수 있는 체계적인 전략을 제공하여, 실무에서 효율적인 통신-최적화 트레이드오프를 가능하게 한다.