[논문 리뷰] Large Scale Distributed Multiclass Logistic Regression

Pengtao Xie, Jin Kyu Kim외 1명|arXiv (Cornell University)|2018. 01. 01.

Stochastic Gradient Optimization Techniques참고 문헌 6인용 수 2

한 줄 요약

이 논문은 분산 다중분류 로지스틱 회귀 프레임워크를 제안하며, 전체 기울기 행렬 대신 두 개의 벡터만 전송하여 통신 비용을 줄입니다. 수신자 측에서 기울기 행렬을 재구성하기 위해 충분한 벡터 브로드캐스터(SVB)를 사용합니다. 이 방법은 선형 통신 복잡도를 달성하여, 정확도를 훼손하지 않고 ImageNet과 같은 대규모 데이터셋에서의 확장성을 크게 향상시킵니다.

ABSTRACT

Multiclass logistic regression (MLR) is a fundamental machine learning model to do multiclass classification. However, it is very challenging to perform MLR on large scale data where the feature dimension is high, the number of classes is large and the number of data samples is numerous. In this paper, we build a distributed framework to support large scale multiclass logistic regression. Using stochastic gradient descent to optimize MLR, we find that the gradient matrix is computed as the outer product of two vectors. This grants us an opportunity to greatly reduce communication cost: instead of communicating the gradient matrix among machines, we can only communicate the two vectors and use them to reconstruct the gradient matrix after communication. We design a Sufficient Vector Broadcaster (SVB) to support this communication pattern. SVB synchronizes the parameter matrix of MLR by broadcasting the sufficient vectors among machines and migrates gradient matrix computation on the receiver side.SVB can reduce the communication cost from quadratic to linear without incurring any loss of correctness. We evaluate the system on the ImageNet dataset and demonstrate the efficiency and effectiveness of our distributed framework.

연구 동기 및 목표

• 고차원, 많은 클래스, 막대한 샘플 수를 가진 대규모 데이터에 대해 다중분류 로지스틱 회귀의 확장성을 해결하기 위해.
• 기존 방법을 초월해 분산 학습에서의 다중분류 로지스틱 회귀의 통신 오버헤드를 줄이기 위해.
• 모델 정확도를 유지하면서 기계 간 데이터 전송을 최소화하는 통신 효율적인 프레임워크를 설계하기 위해.
• 고차원 특징과 많은 클래스를 가진 실세계 데이터셋인 ImageNet에서의 효율적 학습을 가능하게 하기 위해.

제안 방법

• 프레임워크는 다중분류 로지스틱 회귀 모델을 최적화하기 위해 확률적 기울기 하강법(SGD)을 사용합니다.
• 기울기 행렬의 수학적 구조가 두 벡터의 외적(outer product)임을 활용하여 통신 감소를 실현합니다.
• 충분한 벡터 브로드캐스터(SVB)를 설계하여 전체 기울기 행렬 대신 두 개의 벡터만 기계 간에 브로드캐스트합니다.
• 수신 기계들은 수신한 벡터로부터 기울기 행렬을 재구성하여 전체 행렬 전송을 피합니다.
• SVB는 충분한 벡터를 분배하여 파arameter 행렬을 동기화함으로써 워커 간 일관성을 확보합니다.
• 벡터 기반 재구성으로 정확한 기울기 계산을 유지함으로써 정확도를 유지합니다.

실험 결과

연구 질문

• RQ1 정확도를 잃지 않고 분산 다중분류 로지스틱 회귀에서 통신 비용을 이차 복잡도에서 선형 복잡도로 줄일 수 있는가?
• RQ2 기울기 행렬의 외적 구조가 분산 학습에서 효율적인 통신을 어떻게 가능하게 하는가?
• RQ3 ImageNet과 같은 대규모 데이터셋에서 벡터 기반 기울기 전송이 성능에 어떤 영향을 미치는가?
• RQ4 충분한 벡터 브로드캐스터(SVB)가 실세계 데이터 조건에서 모델 수렴과 정확도를 유지할 수 있는가?
• RQ5 제안된 프레임워크는 특징 차원 수, 클래스 수, 데이터 샘플 수가 증가함에 따라 어떻게 확장되는가?

주요 결과

• 충분한 벡터 브로드캐스터(SVB)는 분산 다중분류 로지스틱 회귀에서 통신 비용을 이차 복잡도에서 선형 복잡도로 성공적으로 줄입니다.
• 전송된 벡터로부터 기울기 행렬을 재구성함으로써 정확한 기울기 계산을 유지하여 정확도 손실이 없습니다.
• 시스템은 고차원 특징과 많은 클래스를 가진 ImageNet 데이터셋에서 효율적인 학습을 달성하여 대규모 데이터에 대한 확장성을 입증합니다.
• 모델 정확도나 수렴 속도를 훼손하지 않고 통신 감소를 달성합니다.
• 제안된 방법은 실세계 대규모 데이터셋에서 다중분류 로지스틱 회귀의 확장 가능하고 효율적인 분산 학습을 가능하게 합니다.