[논문 리뷰] Stochastic Variance-Reduced ADMM

Shuai Zheng, James T. Kwok|arXiv (Cornell University)|2016. 04. 24.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 6

한 줄 요약

이 논문은 강건한 선형 수렴를 보이며 샘플 크기 n에 따라 독립적으로 스케일링되는 최소한의 저장공간을 요구하는 변동성 감소(stochastic variance-reduced) ADMM 알고리즘인 SVRG-ADMM를 제안한다. 이는 볼록 문제에 대해 빠른 수렴 속도를 달성하며, 비볼록 문제에 대해서도 수렴 보장을 제공한다. 특히 큰 데이터셋에서 SAG-ADMM 및 SCAS-ADMM보다 빠르고 확장 가능하며, 과거 기울기나 이중 변수를 저장하지 않고도 기울기 재사용을 효율적으로 구현한다.

ABSTRACT

The alternating direction method of multipliers (ADMM) is a powerful optimization solver in machine learning. Recently, stochastic ADMM has been integrated with variance reduction methods for stochastic gradient, leading to SAG-ADMM and SDCA-ADMM that have fast convergence rates and low iteration complexities. However, their space requirements can still be high. In this paper, we propose an integration of ADMM with the method of stochastic variance reduced gradient (SVRG). Unlike another recent integration attempt called SCAS-ADMM, the proposed algorithm retains the fast convergence benefits of SAG-ADMM and SDCA-ADMM, but is more advantageous in that its storage requirement is very low, even independent of the sample size $n$. We also extend the proposed method for nonconvex problems, and obtain a convergence rate of $O(1/T)$. Experimental results demonstrate that it is as fast as SAG-ADMM and SDCA-ADMM, much faster than SCAS-ADMM, and can be used on much bigger data sets.

연구 동기 및 목표

• SAG-ADMM 및 SDCA-ADMM와 같은 변동성 감소 스위치드 ADMM 방법들이 샘플 크기 n에 따라 증가하는 높은 저장공간 오버헤드 문제를 해결하기 위해.
• SVRG(스위치드 변동성 감소 기반 기울기) 방법을 ADMM와 더 깊이 통합하여, 메모리 사용을 최소화하면서도 빠른 수렴 속도를 유지하기 위해.
• 비볼록 문제에 대해 제안된 방법의 이론적 수렴 속도를 확립하기 위해. 이는 비볼록 문제에 대한 수렴 보장이 제한적인 상황에서 중요하다.
• 대규모 및 고차원 기계학습 문제에서 제안된 방법의 실용적 우수성을 입증하기 위해.

제안 방법

• SVRG와 ADMM의 더 탴밀한 통합을 제안하며, 과거 기울기를 저장하지 않고도 기울기의 변동성을 줄이기 위해 제어 변수(control variate)를 사용한다.
• 내부 루프에서 일정한 스텝 사이즈를 사용하여, 점점 줄어드는 스텝 사이즈가 필요한 방법들보다 더 빠른 수렴을 가능하게 한다.
• 두 단계 업데이트 방식을 도입한다: 한 단계는 샘플 포인트에서 전체 기울기를 계산하고, 다른 단계는 제어 변수를 통해 변동성 감소된 스위치드 기울기를 사용한다.
• 최근의 ADMM 수렴 이론 결과를 활용하여 비볼록 문제로의 프레임워크 확장을 가능하게 한다.
• 반복 단위 비용을 줄이기 위해 기울기 계산에 마이너스 배치(mini-batch) 스위치드 근사법을 사용하면서도 변동성 감소를 유지한다.
• 수렴을 최적화하기 위해 페널티 파라미터 ρ를 조정하며, 최적 선택에 대한 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 SVRG는 ADMM와 효과적으로 통합되어 낮은 저장공간 오버헤드로 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 제안된 방법은 SAG-ADMM의 O(nd) 저장공간과 SDCA-ADMM의 O(n) 저장공간을 피하면서도 볼록 문제에서 선형 수렴 속도를 유지할 수 있는가?
• RQ3 비볼록 문제에 대해 제안된 방법은 수렴 보장을 갖출 수 있으며, 그 수렴 속도는 어떠한가?
• RQ4 대규모 데이터셋에서 기존의 스위치드 ADMM 변종인 SCAS-ADMM, SAG-ADMM, SDCA-ADMM와 비교해 실질적으로 어떻게 성능이 뛰어나게 되는가?

주요 결과

• SVRG-ADMM는 강건한 볼록 문제에서 선형 수렴를 보이며, SAG-ADMM 및 SDCA-ADMM와 동일한 속도를 달성하지만, 샘플 크기 n과 무관하게 오직 O(d)의 저장공간만을 요구한다.
• 1,000개의 작업을 포함한 ImageNet 데이터셋에서, SVRG-ADMM는 62.5MB의 저장공간만을 필요로 했고, SAG-ADMM는 38.2TB, SDCA-ADMM는 9.6GB를 차지했다.
• minist8m 및 dna와 같은 대규모 데이터셋에서, SVRG-ADMM는 SCAS-ADMM보다 더 빠르게 수렴했으며, 후자의 경우 순차적 하위문제 업데이트로 인해 성능이著しく 악화되었다.
• 비볼록 그래프 가중 퓌스드 라소 문제에서, a9a, news20, covertype 데이터셋에서 SVRG-ADMM를 사용한 비볼록 모델이 볼록 모델보다 더 낮은 테스트 오차를 기록했다.
• 논문의 정리 3에서 유도된 최적의 페널티 파라미터 ρ는 TV 회귀 실험에서 가장 빠른 수렴을 이끌었으며, 다른 ρ 값보다 뛰어난 성능을 보였다.
• 다중 작업 학습에서, SVRG-ADMM는 최소한의 메모리 사용량으로 좋은 해에 매우 빠르게 수렴했으며, 이는 대규모 문제에 대한 확장성의 우수성을 입증한다.