[논문 리뷰] A distributed block coordinate descent method for training $l_1$ regularized linear classifiers

Dhruv Mahajan, S. Sathiya Keerthi외 1명|arXiv (Cornell University)|2014. 05. 18.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 18

한 줄 요약

이 논문은 Hadoop 클러스터와 같은 고통신비용 환경을 고려해 최적화된 $l_1$-정규화 선형 분류기 학습을 위한 분산 블록 좌표강하(DDCD) 방법을 제안한다. 각 노드에서 블록 단위 최적화를 수행하고, 변수 선택에 대해 게으른 가우스-서던웰 전략을 사용함으로써 통신 오버헤드를 줄이고 기존 방법보다 빠른 수렴을 달성한다. 실험 결과 대규모 데이터셋에서 뚜렷한 속도 향상이 관찰되었다.

ABSTRACT

Distributed training of $l_1$ regularized classifiers has received great attention recently. Most existing methods approach this problem by taking steps obtained from approximating the objective by a quadratic approximation that is decoupled at the individual variable level. These methods are designed for multicore and MPI platforms where communication costs are low. They are inefficient on systems such as Hadoop running on a cluster of commodity machines where communication costs are substantial. In this paper we design a distributed algorithm for $l_1$ regularization that is much better suited for such systems than existing algorithms. A careful cost analysis is used to support these points and motivate our method. The main idea of our algorithm is to do block optimization of many variables on the actual objective function within each computing node; this increases the computational cost per step that is matched with the communication cost, and decreases the number of outer iterations, thus yielding a faster overall method. Distributed Gauss-Seidel and Gauss-Southwell greedy schemes are used for choosing variables to update in each step. We establish global convergence theory for our algorithm, including Q-linear rate of convergence. Experiments on two benchmark problems show our method to be much faster than existing methods.

연구 동기 및 목표

• Hadoop 클러스터와 같은 고통신비용 분산 환경에서 기존 $l_1$-정규화 분류기 학습 방법의 비효율성을 해결하기 위해.
• 각 노드에서 블록 최적화를 수행하여 외부 반복 수를 줄이고 계산 대비 통신 비율을 균형 잡기 위해.
• 통신이 주요 병목 현상이 되는 일반 하드웨어 클러스터에서 기존 좌표강하 접근법을 능가하는 방법을 설계하기 위해.
• 손실 함수의 표준 가정과 그 기울기의 리프시츠 연속성 하에 전역 수렴이 보장되고 Q-선형 수렴 속도를 확보하는 것.

제안 방법

• 목적 함수에 대해 프록시멀-자코비 근사법을 사용하여 각 컴퓨팅 노드에서 효율적인 블록 단위 최적화를 가능하게 한다.
• 각 반복에서 가장 유망한 변수를 선택하기 위해 분산된 가우스-서던웰 게으른 전략을 적용하여 수렴 속도를 향상시킨다.
• 각 노드는 AllReduce를 통해 전역 모델과 기울기를 업데이트하기 전에 할당된 변수 블록에 대해 다수의 좌표강하 단계를 수행한다.
• 각 업데이트 단계에서 목적 함수의 충분한 감소를 보장하기 위해 배경 추적(backtracking)을 사용한 선 탐색을 적용한다.
• 각 반복에서 노드당 업데이트하는 변수 수를 제어하기 위해 WSS(작업 크기) 파라미터를 통합하여 계산 부담과 통신 빈도를 균형 잡는다.
• 손실 함수의 표준 가정과 기울기의 리프시츠 연속성 하에 전역 수렴이 Q-선형 수렴 속도로 증명된다.

실험 결과

연구 질문

• RQ1 고지연 클러스터인 Hadoop와 같은 환경에서 분산 블록 좌표강하 방법이 $l_1$-정규화 분류기 학습의 통신 오버헤드를 줄일 수 있는가?
• RQ2 단일 변수 업데이트가 아닌 각 노드에서 블록 최적화를 수행할 경우, 수렴 속도 향상과 반복 수 감소가 달성되는가?
• RQ3 특히 게으른 가우스-서던웰 전략과 비교해 무작위 또는 가우스-세일드 전략이 수렴 속도와 확장성 측면에서 어떻게 다른가?
• RQ4 WSS와 노드 수와 같은 파라미터 설정이 대규모 분산 환경에서 학습 시간과 수렴에 어떤 영향을 미치는가?
• RQ5 표준 매끄럽고 볼록성 가정 하에 이 블록좌표 방법에 대해 전역 수렴이 보장되고 Q-선형 수렴 속도를 확보할 수 있는가?

주요 결과

• 가우스-서던웰 게으른 선택 전략을 사용하는 DBCD-S 버전은 대규모 데이터셋에서 수렴 속도와 학습 시간 측면에서 다른 방법들을 일관되게 능가한다.
• KDD 및 URL 데이터셋에서 DBCD-S 방법은 기존 방법보다 더 빠른 수렴을 달성했으며, 외부 반복 수가著도 감소했다.
• 고정된 정확도 수준(예: RFVD = -2)에서 노드 수를 25에서 100으로 증가시켜도 학습 시간이 거의 동일하게 유지되어, 통신 비용이 확장성의 한계를 결정짓고 최적의 노드 수가 존재함을 시사한다.
• 이 방법은 각 노드에서 블록 최적화를 수행함으로써 통신 빈도를 크게 감소시켜 단일 변수 업데이트 방법보다 고통신 환경에서 훨씬 효율적임을 입증했다.
• 실험 결과, 프록시멀-자코비 근사와 게으른 변수 선택 전략의 조합이 기존 방법보다 더 빠른 수렴을 이끌어내었으며, 특히 통신 비용이 높을 경우 두드러진 성능 향상을 보였다.
• 알고리즘은 Q-선형 수렴 속도를 달성하여 표준 가정 하에 강력한 이론적 수렴 보장을 확인했다.