[논문 리뷰] Primal Method for ERM with Flexible Mini-batching Schemes and Non-convex Losses

Dominik Csiba, Peter Richtárik|arXiv (Cornell University)|2015. 06. 07.

Stochastic Gradient Optimization Techniques참고 문헌 22인용 수 17

한 줄 요약

이 논문은 임의의 미니배칭 스킴과 비볼록 손실 함수를 지원하는 정규화된 경험적 위험 최소화를 위한 원시적 방법을 소개한다. 이는 평균 손실이 볼록일 경우 수렴 보장을 보장하기 위해 이중 없는 분석을 활용한다. 이 방법은 볼록 손실에 대해 QUARTZ와 동일한 복잡도 한계를 달성하며, 약간의 조건 하에 비볼록 설정에서 이러한 수렴 보장을 처음으로 제공한다. 더 유연한 샘플링을 통해 데이터에 의존하는 비율 향상도 가능하다.

ABSTRACT

In this work we develop a new algorithm for regularized empirical risk minimization. Our method extends recent techniques of Shalev-Shwartz [02/2015], which enable a dual-free analysis of SDCA, to arbitrary mini-batching schemes. Moreover, our method is able to better utilize the information in the data defining the ERM problem. For convex loss functions, our complexity results match those of QUARTZ, which is a primal-dual method also allowing for arbitrary mini-batching schemes. The advantage of a dual-free analysis comes from the fact that it guarantees convergence even for non-convex loss functions, as long as the average loss is convex. We illustrate through experiments the utility of being able to design arbitrary mini-batching schemes.

연구 동기 및 목표

• 기계 학습에서 효율적이고 확장 가능한 최적화를 가능하게 하기 위해 임의의 미니배칭 스킴을 지원하는 L2-정규화된 경험적 위험 최소화를 위한 원시적 방법을 개발한다.
• 이중 없는 분석 기법을 임의의 샘플링 분포로 확장하여, 평균 손실이 볼록일 경우 비볼록 손실 함수에 대해 수렴 보장을 보장한다.
• 문제에 특화된 스텝사이즈 파rameter와 샘플링 확률을 통해 데이터 구조를 더 잘 활용하여 데이터에 의존하는 수렴 비율을 향상시킨다.
• 기대 위험뿐 아니라 반복값과 목적 함수 값에 대한 이론적 수렴 보장을 제공함으로써 실용적 해석 가능성 향상.
• 특히 로드 밸런싱 및 NUMA 인식 설정에서의 실험을 통해 유연한 미니배칭의 유용성을 입증한다.

제안 방법

• 이 방법은 이중 변수에 의존하지 않는 원시 업데이트 스킴과 이중 없는 분석을 사용하여 더 약한 가정 하에서도 수렴 분석이 가능하도록 한다.
• 데이터 색인에 대한 민감한 샘플링 분포를 사용하여 임의의 확률 $p_i$를 가진 i.i.d. 미니배치 선택을 가능하게 한다.
• 알고리즘은 $\|A_i\|^2$에서 유도된 데이터에 의존하는 스텝사이즈 파rameter $v_i$를 포함하며, 이는 수렴 비율 향상에 기여한다.
• 핵심 구성 요소로는 볼록 케이스에 대한 리아파노프 함수 $E^{(t)}$와 비볼록 케이스에 대한 $D^{(t)}$가 있으며, 기대 감소를 통해 선형 수렴을 증명하는 데 사용된다.
• 개별 손실 함수의 $L_i$-리아파노프성과 전체 목적 함수의 $L$-리아파노프성을 활용하여 수렴 비율을 유도한다.
• 정규화된 목적 함수 $P(w)$의 강볼록성과 개별 $\phi_i$의 볼록성을 사용하여 리아파노프 함수의 기대 감소에 대한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 이중 없는 분석을 사용하는 원시적 방법이 평균 손실이 볼록일 경우 비볼록 손실 함수에 대해 수렴 보장을 달성할 수 있는가?
• RQ2 유연한 미니배칭 스킴(비균일 및 데이터에 의존하는 샘플링 포함)이 경험적 위험 최소화에서 수렴 비율에 어떤 영향을 미치는가?
• RQ3 임의의 샘플링을 지원하면서도 QUARTZ와 같은 최첨단 원시-이중 방법의 수렴 비율을 달성할 수 있는가?
• RQ4 균일한 방법에 비해 데이터에 의존하는 스텝사이즈 파arameter $v_i$는 수렴 비율에 어떤 영향을 미치는가?
• RQ5 분산 또는 NUMA 환경에서 '체닝'과 같은 로드 밸런싱 전략을 사용할 경우 이 방법은 실제로 어떻게 성능을 발휘하는가?

주요 결과

• 볼록 손실 함수의 경우, 수렴 비율이 $\max_i\left(\frac{1}{p_i} + \frac{l_i v_i}{\lambda p_i n}\right)\log\left(\frac{(L+\lambda)E^{(0)}}{\lambda\epsilon}\right)$로, 비율은 QUARTZ와 동일하지만 데이터에 의존하는 파rameter가 향상되어 있다.
• 평균 손실이 볼록인 비볼록 손실 함수의 경우, 수렴 비율이 $\max_i\left(\frac{1}{p_i} + \frac{L_i^2 v_i}{\lambda^2 p_i n}\right)\log\left(\frac{(L+\lambda)D^{(0)}}{\lambda\epsilon}\right)$로 보장되며, 이는 이중 없는 보장 중 처음으로 제공된다.
• 기대치 기반 선형 수렴이 보장되며, $\mathbf{E}[E^{(t)}] \leq (1-\theta)^t E^{(0)}$ 및 $\mathbf{E}[D^{(t)}] \leq (1-\theta)^t D^{(0)}$로, 리아파노프 함수의 지수 감소를 증명한다.
• 이론적 분석은 방법의 수렴이 $v_i = \|A_i\|^2$를 통해 데이터 구조에 따라 달라지며, 균일 샘플링이나 단순한 $l_i\|A_i\|$ 추정보다 더 좋은 경계를 제공함을 보여준다.
• 실험 결과는 임의의 미니배칭의 실용적 이점, 특히 '체닝'과 같은 로드 밸런싱 시나리오에서의 이점이 입증되었으며, 유휴 시간 감소와 처리량 향상에 기여한다.
• 균일 샘플링의 경우 $O((n + \kappa)\log(1/\epsilon))$의 복잡도를 달성하며, 비가속화된 최첨단 방법과 동일하며, $\kappa = \frac{\max_i l_i \|A_i\|^2}{\lambda}$이다.