[논문 리뷰] From low probability to high confidence in stochastic convex optimization

Damek Davis, Dmitriy Drusvyatskiy외 2명|arXiv (Cornell University)|2019. 07. 31.

Stochastic Gradient Optimization Techniques참고 문헌 45인용 수 7

한 줄 요약

이 논문은 강凸 문제에 대해 고신뢰도 수렴 보장을 갖는 알고리즘으로 변환하는 일반적인 절차인 proxBoost를 소개한다. 낮은 신뢰도를 가진 확률적 최적화 알고리즘을 기반으로 하되, 강한 볼록성 조건 하에서 고신뢰도 보장을 달성한다. 강력한 거리 추정과 프록시멀 포인트 방법을 조합함으로써, 신뢰도 수준에 대해 로그적 오버헤드와 조건수에 대해 다항로그적 의존도를 달성하여, 기존 방법에 비해 샘플 복잡도를 크게 향상시킨다.

ABSTRACT

Standard results in stochastic convex optimization bound the number of samples that an algorithm needs to generate a point with small function value in expectation. More nuanced high probability guarantees are rare, and typically either rely on "light-tail" noise assumptions or exhibit worse sample complexity. In this work, we show that a wide class of stochastic optimization algorithms for strongly convex problems can be augmented with high confidence bounds at an overhead cost that is only logarithmic in the confidence level and polylogarithmic in the condition number. The procedure we propose, called proxBoost, is elementary and builds on two well-known ingredients: robust distance estimation and the proximal point method. We discuss consequences for both streaming (online) algorithms and offline algorithms based on empirical risk minimization.

연구 동기 및 목표

• 제한적인 노이즈 가정 없이 낮은 신뢰도를 가진 확률적 최적화 알고리즘을 고신뢰도로 변환할 수 있는 일반적이고 저비용의 방법을 개발하는 것.
• 강력한 볼록 설정에서 신뢰도 $p$에 대한 샘플 복잡도 의존도를 $\mathcal{O}(1/p)$에서 $\mathcal{O}(\log(1/p))$로 감소시키는 것.
• 조건수 $\kappa$에 대해 유리한 의존도를 유지하여 다항로그적 스케일링을 달성하고 다항식 또는 지수적 증가를 피하는 것.
• 고신뢰도 보장을 온라인(스트리밍) 및 오프라인(경험 리스크 최소화) 최적화 프레임워크 양쪽에 확장하는 것.

제안 방법

• 알고리즘은 기저 최적화 오라클 $\mathcal{M}(f,\epsilon)$을 사용하며, 이는 확률 적어도 $2/3$로 하위최적성 $\leq \epsilon$을 갖는 점을 반환한다.
• 다중 오라클 출력에서의 클러스터링을 활용하여, 최소화점에 가까운 점을 식별하기 위해 $\text{RobustGap}$ 절차를 통한 강력한 갭 추정을 적용한다.
• 증가하는 정규화 파라미터 $\lambda_i = \mu 2^i$를 사용하여 반복적으로 프록시멀 포인트 방법을 적용함으로써 점진적으로 해를 정밀화한다.
• BoostAlgC로 명명된 알고리즘은 강력한 추정과 프록시멀 확률적 경사수렴 단계를 조합하여 고확률 수렴을 보장한다.
• 총 비용은 $\mathcal{O}(\log(\log \kappa / p) \cdot \log \kappa \cdot \mathcal{C}_{\mathcal{M}}(f, \epsilon / \log \kappa))$로 스케일링되며, $1/p$에 대해 로그적 의존도와 $\kappa$에 대해 다항로그적 의존도를 갖는다.
• 스무딩 및 비스무딩 복합 문제에 모두 적용 가능하며, 확률적 경사수렴 방법의 프록시멀 확장이 사용된다.

실험 결과

연구 질문

• RQ1 광범위한 확률적 최적화 알고리즘의 집합을 제약 없는 노이즈 가정 없이 고신뢰도 수렴 보장을 갖도록 향상시킬 수 있는가?
• RQ2 강력한 볼록 설정에서 낮은 신뢰도 오라클을 고신뢰도 오라클로 변환하기 위해 필요한 최소한의 오버헤드는 무엇인가?
• RQ3 강력한 거리 추정과 프록시멀 방법을 어떻게 조합하여 최소한의 샘플 복잡도로 고확률 보장을 달성할 수 있는가?
• RQ4 결과로 도출된 절차는 $1/p$에 대해 로그적 의존도를 확보하면서도 조건수 $\kappa$에 대해 유리한 의존도를 유지할 수 있는가?

주요 결과

• 제안된 proxBoost 절차는 총 비용이 $\mathcal{O}(\log(\log \kappa / p) \cdot \log \kappa \cdot \mathcal{C}_{\mathcal{M}}(f, \epsilon / \log \kappa))$로 스케일링되어, $1/p$에 대해 로그적 의존도와 $\kappa$에 대해 다항로그적 의존도를 보장함으로써 고신뢰도 수렴을 달성한다.
• 목표 정확도 $\epsilon$과 실패 확률 $p$에 대해, 알고리즘은 기저 오라클을 $\lceil 18\ln(\frac{4+2\lceil\log_2 \kappa\rceil}{p}) \rceil \cdot \lceil 2 + \log_2 \kappa \rceil$번 호출한다.
• 총 확률적 경사수렴 평가 수는 $\mathcal{O}(\log(1/p) \cdot \log \kappa \cdot \frac{\sigma^2}{L\epsilon})$로 스케일링되며, 스무딩 케이스에서 표준 방법의 샘플 복잡도와 일치한다.
• 초기화 오차는 $\frac{9\kappa + 1 + 2\lceil \log_2 \kappa \rceil}{2 + 2\lceil \log_2 \kappa \rceil} \epsilon$ 이하로 제한되어 목표 정확도로의 수렴을 보장한다.
• 프록시멀 확장이 사용됨으로써 복합 문제로의 일반화가 가능하며, 스무딩 케이스와 동일한 샘플 복잡도를 유지한다.
• 비-서브-가우시안 노이즈에 대해 강건하며 경량 尾 조건 가정이 필요 없어 광범위하게 적용 가능하다.