[논문 리뷰] Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks

Zhishuai Guo, Mingrui Liu외 4명|arXiv (Cornell University)|2020. 05. 05.

Stochastic Gradient Optimization Techniques참고 문헌 56인용 수 6

한 줄 요약

이 논문은 깊이 있는 신경망을 사용한 확률적 AUC 최적화를 위한 통신 효율적인 분산 알고리즘 CoDA를 제안한다. 비볼록 볼록 최소-최대 재구성과 지역 원본-이중 업데이트를 통한 주기적 모델 평균화를 활용하여, 통신 라운드 수를 줄이면서도 선형 속도 향상을 유지함으로써, 이론적·실제로도 단순 병렬화보다 통신 복잡도가 낮아진다.

ABSTRACT

In this paper, we study distributed algorithms for large-scale AUC maximization with a deep neural network as a predictive model. Although distributed learning techniques have been investigated extensively in deep learning, they are not directly applicable to stochastic AUC maximization with deep neural networks due to its striking differences from standard loss minimization problems (e.g., cross-entropy). Towards addressing this challenge, we propose and analyze a communication-efficient distributed optimization algorithm based on a {\it non-convex concave} reformulation of the AUC maximization, in which the communication of both the primal variable and the dual variable between each worker and the parameter server only occurs after multiple steps of gradient-based updates in each worker. Compared with the naive parallel version of an existing algorithm that computes stochastic gradients at individual machines and averages them for updating the model parameters, our algorithm requires a much less number of communication rounds and still achieves a linear speedup in theory. To the best of our knowledge, this is the extbf{first} work that solves the {\it non-convex concave min-max} problem for AUC maximization with deep neural networks in a communication-efficient distributed manner while still maintaining the linear speedup property in theory. Our experiments on several benchmark datasets show the effectiveness of our algorithm and also confirm our theory.

연구 동기 및 목표

• 깊이 있는 신경망을 사용한 분산 AUC 최적화에서 AUC의 분해 불가능성으로 인한 높은 통신 비용을 해결하기 위해.
• 통신 횟수를 극적으로 줄이면서도 선형 속도 향상을 유지하는 분산 최적화 알고리즘을 설계하기 위해.
• AUC 최적화에서 발생하는 비볼록 볼록 최소-최대 문제를 통신 효율적으로 해결하기 위해.
• 기존의 단일 머신 AUC 최적화 방법을 이론적 보장을 갖춘 확장 가능한 분산 환경으로 확장하기 위해.

제안 방법

• AUC 최적화의 비볼록 볼록 최소-최대 재구성 기반 통신 효율적인 분산 알고리즘인 CoDA를 제안한다.
• 정규화된 최소-최대 부분문제를 해결하기 위해 주기적으로 업데이트되는 정규화자와 함께 프록시멀 원본-이중 프레임워크를 적용한다.
• 각 워커에서 지역적 확률적 원본-이중 업데이트를 수행한 후, 모델 및 이중 변수에 대해 드물게 전역 평균화를 수행한다.
• 지속적인 업데이트 깊이와 통신 빈도 사이의 균형을 맞추기 위해 통신 간격 I를 고정한다.
• 주기적 모델 평균화를 적용하여 통신 오버헤드를 줄이고 수렴 보장을 유지한다.
• 이론적 분석을 통해 폴랴크-뢰자셰비츠(PL) 조건 하에서 통신 복잡도가 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 AUC 최적화를 위한 분산 딥러닝 알고리즘이 통신 횟수를 최소화하면서도 선형 속도 향상을 달성할 수 있는가?
• RQ2 비분해 가능한 AUC를 최소한의 통신으로 분산 환경에서 어떻게 다룰 수 있는가?
• RQ3 원본-이중 업데이트와 주기적 평균화를 사용한 분산 AUC 최적화 알고리즘의 이론적 통신 복잡도는 무엇인가?
• RQ4 제안된 방법은 단순 병렬화 대비 수렴 및 일반화 성능을 유지하는가?
• RQ5 모델 품질을 희생시키지 않고 여러 머신에서 효율적으로 확장 가능한가?

주요 결과

• CoDA는 $ O(1/( u^{3/2} u^{1/2})) $의 통신 복잡도를 달성하여, 단순 병렬화 버전(NP-PPD-SG)의 $ O(1/(K u^2 u)) $보다 크게 낮다.
• 이론적으로 선형 속도 향상을 유지하며, 특정 영역에서는 머신 수 $ K $ 만큼 반복 복잡도가 감소한다.
• ImageNet, CIFAR-100, CIFAR-10에서의 실험을 통해 CoDA는 AUC와 통신 효율성에서 베이스라인 방법을 능가한다.
• 특히 데이터 불균형 상황에서 더 적은 통신 획수로 더 빠른 수렴과 더 나은 AUC 성능을 달성한다.
• 실험 결과는 이론적 분석을 확인하며, 다양한 양성 클래스 비율에서 안정적인 수렴성과 강건성을 보여준다.
• 후반 단계에서 적응형 간격 $ I_s = I_0 imes 3^{(s-1)} $를 사용함으로써 성능 저하 없이 통신 횟수를 추가로 감소시켰다.