[논문 리뷰] Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion

Ashok Cutkosky, Harsh Mehta외 1명|arXiv (Cornell University)|2023. 02. 07.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 비연속, 비볼록 스토하스틱 최적화 문제를 온라인 학습으로 전환하는 새로운 온라인-비볼록 변환 프레임워크를 제안한다. 이는 비연속, 비볼록 스토하스틱 최적화 문제를 온라인 학습으로 환원함으로써 $(\delta,\epsilon)$-정류점(정류점)을 찾는 데 $O(\epsilon^{-3}\delta^{-1})$의 최적 복잡도를 달성한다. 이는 이전까지의 최선 성능인 $O(\epsilon^{-4}\delta^{-1})$보다 향상된 결과이며, 이 복잡도는 최적성 또한 입증된다. 이 방법은 온라인 학습에서의 이동 보상 한계를 활용하여 비연속 목표 함수에 대해 더 빠른 알고리즘을 설계하며, 하한선을 통한 최적성 증명을 통해 이론적 완성도를 확보한다.

ABSTRACT

We present new algorithms for optimizing non-smooth, non-convex stochastic objectives based on a novel analysis technique. This improves the current best-known complexity for finding a $(δ,ε)$-stationary point from $O(ε^{-4}δ^{-1})$ stochastic gradient queries to $O(ε^{-3}δ^{-1})$, which we also show to be optimal. Our primary technique is a reduction from non-smooth non-convex optimization to online learning, after which our results follow from standard regret bounds in online learning. For deterministic and second-order smooth objectives, applying more advanced optimistic online learning techniques enables a new complexity of $O(ε^{-1.5}δ^{-0.5})$. Our techniques also recover all optimal or best-known results for finding $ε$ stationary points of smooth or second-order smooth objectives in both stochastic and deterministic settings.

연구 동기 및 목표

• 레이저 기반 네트워크와 같은 현대 아키텍처에서 표준 부드러움 가정이 실패하는 비연속, 비볼록 스토하스틱 최적화의 이론적 보장 격차를 해소하기 위해.
• 실제 딥러닝에 더 부합하는 비연속, 비볼록 설정에서 $(\delta,\epsilon)$-정류점(정류점)을 찾는 데 있어서 최신 기술 성능의 복잡도를 향상시키기 위해.
• 비볼록 스토하스틱 최적화에서 온라인 학습으로의 공식적 환원을 수립하여, 고급 온라인 학습 보상 한계를 활용해 수렴 속도를 높이기 위해.
• 제안된 복잡도율 $O(\epsilon^{-3}\delta^{-1})$가 모든 $\epsilon \leq O(\delta)$에 대해 최적임을 증명하여 핵심 이론적 격차를 메우기 위해.

제안 방법

• 핵심 방법은 온라인-비볼록 변환: 스토하스틱 기울기에서 유도된 선형 손실을 사용하여 비볼록 스토하스틱 최적화 문제를 온라인 학습 문제로 매핑하는 것.
• 알고리즘은 온라인 학습에서의 이동 보상 한계를 활용하며, 보상이 이동하는 비교자 시퀀스에 대해 측정되어 반복의 드리프트를 제어하고 정류점 수렴을 보장한다.
• 주기적인 재설정을 적용한 온라인 기울기 하강법(OGD)을 사용하여 $K$-이동 보상 한계를 $O(DGK\sqrt{T})$로 확보하며, 이는 최종 수렴 보장에 핵심적이다.
• 온라인-배치 변환을 적용하여 온라인 반복의 시퀀스에서 단일 점 $\overline{{\mathbf{w}}}^k$를 추출하며, 이는 모든 $t$에 대해 $\|\overline{{\mathbf{w}}}^k - {\mathbf{w}}_t^k\| \leq \delta$를 만족시어 $(\delta,\epsilon)$-정류점 조건을 충족시킨다.
• 분석은 국소 이웃에서 평균 기울기의 기대 노름을 제한하며, 방향 도함수 오ракูล과 온라인 보상의 구조를 활용하여 기대 비최적성 제어를 수행한다.
• 제안된 $O(\epsilon^{-3}\delta^{-1})$ 복잡도율이 최적임을 입증하기 위해 일치하는 하한선을 구성함으로써, 동일한 가정 하에 더 나은 복잡도를 달성할 수 있는 알고리즘이 존재하지 않음을 보여준다.

실험 결과

연구 질문

• RQ1 비연속, 비볼록 스토하스틱 최적화에서 $(\delta,\epsilon)$-정류점(정류점)을 찾는 데 있어 $O(\epsilon^{-4}\delta^{-1})$보다 더 나은 복잡도를 달성할 수 있는가?
• RQ2 $O(\epsilon^{-3}\delta^{-1})$ 복잡도율이 최적인지, 아니면 더 향상시킬 수 있는가?
• RQ3 온라인-비볼록 변환 프레임워크를 사용해 부드럽고 두 번째 차수로 부드러운 목표 함수에 대한 기존 결과들을 통합하고 향상시킬 수 있는가?
• RQ4 제안된 방법이 스트로스틱 및 결정론적 환경 모두에서 부드럽고 두 번째 차수로 부드러운 설정에서 최적 또는 최고의 알려진 성능율을 회복하는가?
• RQ5 온라인 학습과 비볼록 최적화 간의 연결을 활용하여 비연속 목표 함수에 대해 더 빠른 알고리즘을 설계할 수 있는가?

주요 결과

• 제안된 알고리즘은 $(\delta,\epsilon)$-정류점(정류점)을 찾는 데 $O(\epsilon^{-3}\delta^{-1})$의 복잡도를 달성하며, 이는 이전까지 알려진 최고 성능인 $O(\epsilon^{-4}\delta^{-1})$보다 향상된 결과이다.
• $O(\epsilon^{-3}\delta^{-1})$ 복잡도율이 모든 $\epsilon \leq O(\delta)$에 대해 최적임이 입증되었으며, 상한선과 일치하는 기본 하한선을 설정함으로써 이론적 완성도를 확보하였다.
• 두 번째 차수로 부드러운 목표 함수의 경우, 고급 옵티미스틱 온라인 학습 기법을 활용하여 $O(\epsilon^{-1.5}\delta^{-0.5})$의 복잡도를 달성하였으며, 이 역시 최적이다.
• 이 프레임워크는 스트로스틱 및 결정론적 설정 모두에서 부드럽고 두 번째 차수로 부드러운 목표 함수에 대해 최적 또는 최고의 알려진 결과를 모두 회복한다.
• 온라인-배치 변환은 최종 반복점 $\overline{{\mathbf{w}}}^k$가 궤적에서 $\delta$-공 내에 위치하도록 보장하여 $(\delta,\epsilon)$-정류점 조건을 충족시킨다.
• 분석은 $O(\epsilon^{-3}\delta^{-1})$ 복잡도율이 방향 도함수 오라클을 사용할 때조차도 날카롭게 유지됨을 확인하였으며, 이 경계는 연속 미분 가능 함수에 대해서도 유효하다.