[논문 리뷰] On Zeroth-Order Stochastic Convex Optimization via Random Walks

Tengyuan Liang, Hariharan Narayanan외 1명|arXiv (Cornell University)|2014. 02. 11.

Stochastic Gradient Optimization Techniques참고 문헌 8인용 수 24

한 줄 요약

이 논문은 충분한 수의 쿼리 후에 $\tilde{\mathcal{O}}(n^7 T^{-1/2})$의 하위최적성률을 달성하는 제로스티프 오더 스토하스틱 볼록 최적화 방법을 제안한다. 이 방법은 볼록 함수의 에피그래프 위에서 랜덤 워크를 사용하며, 노이즈 있는 평가에 대해 적응형 함수 쿼리와 아핀 변환을 활용하여 기존 기울기 추정 기반 방법에 비해 더 높은 강건성을 확보한다.

ABSTRACT

We propose a method for zeroth order stochastic convex optimization that attains the suboptimality rate of $ ilde{\mathcal{O}}(n^{7}T^{-1/2})$ after $T$ queries for a convex bounded function $f:{\mathbb R}^n o{\mathbb R}$. The method is based on a random walk (the \emph{Ball Walk}) on the epigraph of the function. The randomized approach circumvents the problem of gradient estimation, and appears to be less sensitive to noisy function evaluations compared to noiseless zeroth order methods.

연구 동기 및 목표

• 차원과 정확도에 대해 거의 최적의 의존도를 확보함으로써 제로스티프 오더 스토하스틱 볼록 최적화의 이론적 격차를 메우는 것.
• 기울기 추정에 의존하지 않고 노이즈 있는 함수 평가에 강건한 방법을 개발하는 것.
• 제한된 오라클 액세스 조건 하에서 볼록 함수의 에피그래프 위에서의 랜덤 워크 기반 샘플링의 복잡도를 분석하는 것.
• 기존의 스토하스틱 설정에서 $n^7$에 의존하는 경계보다 향상된 하위최적성률을 확립하는 것.

제안 방법

• 알고리즘은 알려진 상한 $C_t$에서 잘린 함수의 에피그래프로 볼록 체를 구성한다.
• 볼 밸크 랜덤 워크를 사용하여 에피그래프에서 근사적으로 균일한 샘플을 생성함으로써 중심질량 근사치를 도출한다.
• 반복적인 노이즈 있는 평가를 통해 신뢰구간을 구축함으로써, 점이 에피그래프 내부에 있는지 여부를 판단하기 위해 적응형 함수 쿼리를 사용한다.
• 체를 등방향 위치로 매핑하기 위해 아핀 변환 $\mathcal{T}$를 적용함으로써 분석을 단순화하고 균일한 샘플링 행동을 보장한다.
• 신뢰구간이 실패하는 경계 근처의 점들을 다루기 위해 '포기 밴드' $\delta$-경계를 도입하며, 이 오차는 확률적으로 유계이다.
• 알고리즘은 평균 샘플의 $y$-좌표에서 체를 반복적으로 잘라내어 부피를 감소시키고 최소화자에 가까워지도록 진행한다.

실험 결과

연구 질문

• RQ1 기울기 추정 기반 접근법에 비해, 랜덤 워크 기반의 랜덤화 방법이 제로스티프 오더 스토하스틱 볼록 최적화에서 더 낮은 이론적 복잡도를 달성할 수 있는가?
• RQ2 노이즈 있는 함수 평가 조건 하에서 오라클 복잡도는 차원 $n$과 정확도 $\epsilon$에 따라 어떻게 스케일링되는가?
• RQ3 기울기가 이용 불가능할 경우, 함수 값에 대한 신뢰구간을 활용한 적응형 샘플링이 에피그래프 내부성 테스트를 강건하게 가능하게 할 수 있는가?
• RQ4 노이즈 존재 조건에서 쿼리 복잡도와 경계 근접도 사이의 상호 교환 관계는 어떠한가?
• RQ5 무작위화는 제로스티프 최적화에서 노이즈에 대한 강건성을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 $T$개의 쿼리 이후 하위최적성률 $\tilde{\mathcal{O}}(n^7 T^{-1/2})$를 달성하며, 이는 스토하스틱 설정에서 이론적으로의 상당한 향상이다.
• 정확도 $\epsilon$을 확보하기 위한 오라클 복잡도는 $\tilde{\mathcal{O}}(n^{14} \epsilon^{-2})$ 이하로 유계이며, 이는 이전의 $n^{33}$에 의존하는 경계보다 향상된 것이다.
• 각 쿼리의 오차 확률은 $o(1/n^5)$ 이하로 유계이며, 이는 $\tilde{\mathcal{O}}(n^5)$회의 반복 동안 총 오차가 $o(1)$ 이하로 유지됨을 보장한다.
• 한 점당 평균 오라클 쿼리 수는 $\tilde{\mathcal{O}}(n^9 / \epsilon^2)$ 이며, 이는 적응형 샘플링 복잡도와 부피 감소율에서 유도된다.
• 이 방법은 자연스럽게 병렬화 가능하여, 각 머신의 쿼리 비용을 $n$ 배로 감소시킬 수 있다.
• 분석 결과, 스토하스틱 설정에서 차원에 대한 $n^7$ 의존도가 달성 가능하며, 기존 알려진 하한 $\Omega(n^2 \epsilon^{-2})$에 가까워졌다.