[논문 리뷰] Parallel Coordinate Descent Newton for Large-scale L1-Regularized Minimization.

Yatao Bian, Xiong Li외 1명|arXiv (Cornell University)|2013. 06. 18.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 대규모 L1-정규화 최소화를 위한 새로운 알고리즘인 병렬 좌표 강하 뉴턴(Parallel Coordinate Descent Newton, PCDN)을 제안한다. 이 알고리즘은 특징을 번들로 분할하고 다차원 근사 뉴턴 단계를 사용하여 효율적인 병렬 처리를 가능하게 한다. 전역 수렴을 보장하며 병렬성 증가에 따라 수렴 속도가 향상되어 기존 최상위 수준의 방법들보다 벤치마크 데이터셋에서 정확도를 유지하면서도 빠른 속도를 달성한다.

ABSTRACT

The recent years have witnessed advances in parallel algorithms for large scale optimization problems. Notwithstanding demonstrated success, existing algorithms that parallelize over features are usually limited by divergence issues under high parallelism or require data preprocessing to alleviate these problems. In this work, we propose a Parallel Coordinate Descent Newton algorithm using multidimensional approximate Newton steps (PCDN), where the off-diagonal elements of the Hessian are set to zero to enable parallelization. It randomly partitions the feature set into $b$ bundles/subsets with size of $P$, and sequentially processes each bundle by first computing the descent directions for each feature in parallel and then conducting $P$-dimensional line search to obtain the step size. We show that: (1) PCDN is guaranteed to converge globally despite increasing parallelism; (2) PCDN converges to the specified accuracy $\epsilon$ within the limited iteration number of $T_\epsilon$, and $T_\epsilon$ decreases with increasing parallelism (bundle size $P$). Using the implementation technique of maintaining intermediate quantities, we minimize the data transfer and synchronization cost of the $P$-dimensional line search. For concreteness, the proposed PCDN algorithm is applied to $\ell_1$-regularized logistic regression and $\ell_2$-loss SVM. Experimental evaluations on six benchmark datasets show that the proposed PCDN algorithm exploits parallelism well and outperforms the state-of-the-art methods in speed without losing accuracy.

연구 동기 및 목표

• 높은 병렬성에서 기존의 병렬 특징 기반 최적화 알고리즘의 발산 문제와 높은 동기화 비용을 해결하기 위해.
• 로지스틱 회귀 및 SVM과 같은 대규모 L1-정규화 학습 문제에서 확장 가능하고 효율적인 병렬 처리를 가능하게 하기 위해.
• 최적화 과정에서 번들 크기(병렬성) 증가에도 불구하고 전역 수렴과 빠른 수렴 속도를 유지하기 위해.
• P차원 선 탐색 중 중간 양을 효율적으로 유지하여 데이터 전송 및 동기화 오버헤드를 최소화하기 위해.
• 실제 데이터셋에서 해의 정확도를 유지하면서도 기존 최상위 수준의 방법들보다 뛰어난 런타임 성능을 달성하기 위해.

제안 방법

• 특징 집합을 크기가 P인 b개의 번들로 분할하여 각 번들 내 특징의 병렬 처리를 가능하게 한다.
• 각 번들에 대해 대각행렬 근사 헤시안(비대각원소를 0으로 설정)을 사용한 근사 뉴턴 단계를 통해 내림쪽 방향을 동시에 계산한다.
• 최적의 스텝 크기를 결정하기 위해 각 번들에 대해 순차적으로 P차원 선 탐색을 수행하여 내림쪽과 수렴을 보장한다.
• 선 탐색 단계 동안 데이터 전송 및 동기화 비용을 줄이기 위해 반복 간 중간 양을 유지한다.
• L1-정규화 문제의 구조를 활용하여 효율적인 좌표 기반 업데이트 및 스텝 크기 계산을 가능하게 한다.
• 알고리즘은 ℓ1-정규화 로지스틱 회귀와 ℓ2-손실 서포트 벡터 머신에 적용되어 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 L1-정규화 최소화를 위한 병렬 좌표 강하 방법이 병렬성 증가 조건에서도 전역 수렴을 유지할 수 있는가?
• RQ2 대각행렬 헤시안 근사를 사용한 다차원 근사 뉴턴 단계가 수렴 속도 향상과 확장성 향상에 기여하는가?
• RQ3 중간 양 유지 기법을 통해 고차원 선 탐색의 동기화 및 데이터 전송 오버헤드를 최소화할 수 있는가?
• RQ4 번들 크기(P) 증가에 따라 제안된 방법의 수렴 속도는 어떻게 변화하는가?
• RQ5 실제 데이터셋에서 기존 최상위 수준의 방법들보다 런타임 성능이 뛰어나면서도 해의 정확도를 유지하는가?

주요 결과

• PCDN는 병렬성 증가 조건에서도 전역 수렴이 보장되어 기존 병렬 특징 기반 알고리즘의 핵심 한계를 극복한다.
• 정확도 ε에 도달하기 위한 반복 수 Tε는 번들 크기 P 증가에 따라 감소하여 수렴 속도 향상을 나타낸다.
• 6개의 벤치마크 데이터셋에서 기존 최상위 수준의 방법들보다 더 빠른 수렴과 런타임 성능을 달성한다.
• 높은 병렬성 조건에서도 PCDN는 기준 방법과 유사한 해의 정확도를 유지하며 예측 성능에 손실가지 않는다.
• 중간 양 유지 기법이 P차원 선 탐색 중 데이터 전송 및 동기화 오버헤드를 크게 줄였다.
• 실험 결과, 평가에 사용된 6개의 벤치마크 데이터셋 전반에서 PCDN가 기존 방법들보다 빠른 성능을 보였다.