[논문 리뷰] SDCA without Duality, Regularization, and Individual Convexity

Shai Shalev‐Shwartz|arXiv (Cornell University)|2016. 02. 04.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 35

한 줄 요약

이 논문은 강한 볼록성 조건이 만족될 경우, 개별 손실 함수가 볼록 또는 비볼록일 때도 선형 수렴를 보장하는, 더 이상 이중성이나 명시적 정규화에 의존하지 않는 Stochastic Dual Coordinate Ascent(SDCA)의 이중 자유 변종을 제안한다. 이 방법은 볼록 손실에 대해 $\tilde{O}(\bar{L}/\lambda + n)$, 비볼록 손실에 대해 $\tilde{O}(n^{3/4}\sqrt{\bar{L}/\lambda} + n)$ 의 수렴 속도를 달성하며, 이는 이중성 또는 정규화를 요구하지 않는 이론적 기준에 비해 개선된 성능을 보인다.

ABSTRACT

Stochastic Dual Coordinate Ascent is a popular method for solving regularized loss minimization for the case of convex losses. We describe variants of SDCA that do not require explicit regularization and do not rely on duality. We prove linear convergence rates even if individual loss functions are non-convex, as long as the expected loss is strongly convex.

연구 동기 및 목표

• 이중성 또는 명시적 정규화에 의존하지 않는 SDCA의 변종을 개발하는 것.
• 개별 손실 함수가 비볼록일 경우에도 수렴 보장을 유지하면서 SDCA를 비볼록 함수로 확장하는 것.
• 예상 손실의 강한 볼록성과 개별 함수의 미세함 조건만을 만족할 때 선형 수렴 속도를 달성하는 것.
• 이전의 기준을 향상시키기 위해 $L_{\max}$ 를 $\bar{L}$ 으로 대체하고, 비볼록 설정에서 $n$ 에 대한 의존도를 줄이는 것.

제안 방법

• 이중 변수나 이중 기반 업데이트가 필요 없도록, 개별 손실 함수의 기울기만을 사용하는 원천 기반 SDCA 변종을 제안한다.
• 탐색과 수렴의 균형을 맞추기 위해 샘플링 분포 $q_i = (L_i + \bar{L}) / (2n\bar{L})$ 를 도입한다.
• 변동성이 점차 감소하는 비편향 기울기 추정을 기반으로 한 원천 업데이트 규칙을 사용하며, SGD와 유사하지만 분산 감소 기법을 적용한다.
• 수렴 분석을 위해 리아푸노프 함수 $C_t = \|w^{(t)} - w^*\|^2 + \sum_i \|\alpha_i^{(t)} - \alpha_i^*\|^2 / (\lambda n)$ 을 활용한다.
• 부드러움과 강한 볼록성 가정을 바탕으로 수렴 기준을 유도하며, 볼록 성분에 대해 기울기의 자기유 bounds 성질을 활용한다.
• 가속 기법을 적용하여 비볼록 설정에서의 수렴 속도를 $\tilde{O}(L_{\max}^2/\lambda^2 + n)$ 에서 $\tilde{O}(n^{3/4}\sqrt{\bar{L}/\lambda} + n)$ 으로 향상시킨다.

실험 결과

연구 질문

• RQ1 이중성이나 명시적 정규화에 의존하지 않고도 수렴 보장을 유지하면서 SDCA를 재구성할 수 있는가?
• RQ2 개별 손실 함수가 비볼록일 경우에도 예상 손실이 강한 볼록성을 만족한다면 여전히 선형 수렴가 가능한가?
• RQ3 기준에서 $L_{\max}$ 를 평균 부드러움 $\bar{L}$ 으로 대체함으로써 수렴 속도를 향상시킬 수 있는가?
• RQ4 가속된 비볼록 케이스에서의 $n^{3/4}$ 의 의존성은 필수적인가, 아니면 $n^{1/2}$ 으로 줄일 수 있는가?
• RQ5 정규화된 목적 함수와 동일한 수렴 속도를 비정규화된 목적 함수에서도 달성할 수 있는가?

주요 결과

• 이중 자유 SDCA 변종은 볼록 개별 손실 함수에 대해 $\tilde{O}(\bar{L}/\lambda + n)$ 의 수렴 속도를 달성하며, SVRG의 최고 성능과 동일한 수준이다.
• 비볼록 개별 손실 함수에 대해서는 가속 없이도 $\tilde{O}(\bar{L}^2/\lambda^2 + n)$ 의 수렴 속도를 달성한다.
• 가속 기법을 적용한 결과, 수렴 속도는 $\tilde{O}(n^{3/4}\sqrt{\bar{L}/\lambda} + n)$ 으로 향상되었으며, 이는 이전 비가속 기반 기준보다 조건수에 대한 더 나은 의존성을 보였다.
• 명시적 정규화와 이중성의 필요성을 제거함으로써, 비정규화 및 비볼록 문제에의 적용을 가능하게 하였다.
• 분석 결과, 수렴을 보장하기 위해 단계 크기 $\eta$ 는 $\eta \leq \min\{\lambda/(4\bar{L}^2), 1/(4\lambda n)\}$ 를 만족해야 한다는 것이 밝혀졌다.
• 비볼록 케이스의 개선된 기준은 오하드 셰미르의 통찰을 바탕으로 이전의 $n^{5/4}$ 항을 $n^{3/4}$ 로 줄였다.