[논문 리뷰] Feature-Distributed SVRG for High-Dimensional Linear Classification

Gong-Duo Zhang, Shen-Yi Zhao외 2명|arXiv (Cornell University)|2018. 02. 10.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 17

한 줄 요약

이 논문은 고차원 선형 분류를 위한 새로운 분산 학습 방법인 특징 기반 분할 SVRG(FD-SVRG)를 제안한다. 이 방법은 데이터를 인스턴스가 아닌 특징 기반으로 분할한다. 기존의 인스턴스 기반 분할 방법과 달리, 특징 수가 인스턴스 수를 초과할 경우 통신 비용을 낮추고 수렴 속도를 높이며, 실제 데이터셋에서 DSVRG 및 PS-Lite (SGD)와 같은 최첨단 방법보다 통신 효율성과 월클럭 시간 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Linear classification has been widely used in many high-dimensional applications like text classification. To perform linear classification for large-scale tasks, we often need to design distributed learning methods on a cluster of multiple machines. In this paper, we propose a new distributed learning method, called feature-distributed stochastic variance reduced gradient (FD-SVRG) for high-dimensional linear classification. Unlike most existing distributed learning methods which are instance-distributed, FD-SVRG is feature-distributed. FD-SVRG has lower communication cost than other instance-distributed methods when the data dimensionality is larger than the number of data instances. Experimental results on real data demonstrate that FD-SVRG can outperform other state-of-the-art distributed methods for high-dimensional linear classification in terms of both communication cost and wall-clock time, when the dimensionality is larger than the number of instances in training data.

연구 동기 및 목표

• 특징 수가 샘플 수를 초과하는 고차원 환경에서 기존의 인스턴스 기반 분산 학습 방법의 높은 통신 비용을 해결한다.
• 데이터를 인스턴스가 아닌 특징 기반으로 분할하여 고차원 선형 분류에서 통신 오버헤드를 줄이는 분산 최적화 프레임워크를 설계한다.
• 비분산 SVRG와 동일한 수렴 속도를 확보하면서도 확장 가능하고 분산된 파라미터 학습을 가능하게 한다.
• 실제 고차원 데이터셋에서 최첨단 분산 SVRG 및 SGD 방법과 비교해 통신 비용과 월클럭 시간 측면에서 뛰어난 성능을 입증한다.

제안 방법

• 각 워커가 인스턴스가 아닌 특징의 부분집합을 저장하는 특징 기반 분할 전략을 제안한다.
• 스토하스틱 분산 감소 기울기(SVRG) 알고리즘을 특징 기반 분할 환경에 적응시켜 비분산 SVRG와 동일한 수렴 속도를 유지한다.
• 워커 간 파라미터 및 기울기 동기화를 위해 린 기반의 탈중앙화 프레임워크를 사용하여 중앙 집중적 병목 현상을 방지한다.
• 수렴 안정성을 보장하기 위해 고정된 스텝 사이즈와 각 워커당 학습 인스턴스 수와 동일한 내부 루프 길이를 사용한다.
• 중앙 서버 없이 워커 전용 아키텍처를 구현하여 어떤 노드의 통신 부담을 줄인다.
• 워커 간 통신 시에는 항상 d차원 벡터(d는 특징 차원 수)만 전송하여 스칼라 전송을 최소화한다.

실험 결과

연구 질문

• RQ1 특징 기반 분할 접근 방식이 인스턴스 기반 분할 방법에 비해 고차원 선형 분류에서 통신 비용을 줄일 수 있는가?
• RQ2 특징 기반 분할 SVRG 방법이 비분산 SVRG와 동일한 수렴 속도를 유지하는가?
• RQ3 FD-SVRG는 최첨단 분산 SVRG 및 SGD 방법과 비교해 월클럭 시간과 통신 비용 측면에서 어떻게 성능을 발휘하는가?
• RQ4 특징 수가 많을 경우 워커 수가 증가함에 따라 FD-SVRG의 확장성은 어떻게 되는가?

주요 결과

• kdd2010 데이터셋에서 FD-SVRG는 DSVRG 대비 29.9배 빠른 속도를 기록했으며, 월클럭 시간은 13.39초로 DSVRG의 400.35초보다 훨씬 빠르게 기록되었다.
• webspam 데이터셋에서는 FD-SVRG가 PS-Lite (SGD) 대비 196배 빠르게 동작하여 학습 시간을 827.12초에서 4.23초로 단축시켰다.
• 특징 수가 인스턴스 수를 초과할 경우, FD-SVRG는 통신 비용을 크게 감소시켜 인스턴스 기반 분할 방법보다 뛰어난 성능을 보였다.
• webspam 데이터셋에서 FD-SVRG는 워커 수가 1에서 16으로 증가함에 따라 거의 이상적인 스피드업을 보였으며, 확장성은 선형에 가까웠다.
• 정규화 파rameter(λ = 10⁻³ 및 10⁻⁵)를 다양한 값으로 설정한 실험을 통해 FD-SVRG는 다양한 하이퍼파rameter 설정에서도 일관되게 뛰어난 성능을 보였다.