[논문 리뷰] Lower Bound for Randomized First Order Convex Optimization

Blake Woodworth, Nathan Srebro|arXiv (Cornell University)|2017. 09. 11.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 15

한 줄 요약

이 논문은 $L$-Lipschitz 함수의 랜덤화된 1차 최적화에 대해, 유클리드 구의 반지름이 $B$일 때, $Ω(L^2B^2/ε^2)$ 오ракulum 쿼리의 날카운 하한을 명시적인 구성으로 확립한다. 이 구성은 무작위 정규직교 기저를 사용한 최대아핀 함수의 가족을 포함한다. 결과적으로, 랜덤화가 고차원에서 성공 가능성이 낮은 무작위 방향 추측을 하더라도, 결정론적 방법의 최악의 경우 복잡도 이하로 worst-case 복잡도를 낮출 수 없음을 보여준다.

ABSTRACT

We provide an explicit construction and direct proof for the lower bound on the number of first order oracle accesses required for a randomized algorithm to minimize a convex Lipschitz function.

연구 동기 및 목표

• 이전에 간접적인 재귀적 추론을 통해만 확립되었던, 랜덤화된 1차 최적화에 대한 하한을 직접적이고 명시적인 구성으로 제공함으로써 문헌의 격차를 메우기 위해.
• 제한된 도메인 위에서 $L$-Lipschitz 볼록 함수를 최소화할 때, 랜덤화가 최악의 경우 오라클 복잡도를 향상시키지 못함을 보여주기 위해.
• 고차원에서 무작위 방향 추측이 유리해 보일 수 있지만, 알고리즘이 여전히 결정론적 방법과 동일한 $Ω(L^2B^2/ε^2)$ 쿼리 복잡도를 피할 수 없음을 보여주기 위해.
• 요아의 최소최대 원리와 구의 대칭성 논증을 사용한 자가 포함된 증명을 제공하여, 하한을 교육 및 향후 분석에 접근 가능하게 하기 위해.

제안 방법

• 다음과 같은 볼록이고 $1$-Lipschitz 함수의 가족을 구성: $f(x) = \max_{1\leq j\leq k} \left(\langle x, v_j \rangle - jc\right)$, 여기서 $\{v_j\}$ 는 $\mathbb{R}^d$ 내의 정규직교 기저이며, $k = 1/(4\epsilon^2)$, $c = \epsilon/k$.
• 무작변 정규직교 기저 $\{v_j\}$ 를 사용하여 함수에 대한 분포를 정의함으로써, 적대자가 사전에 함수를 고정할 수 없도록 한다.
• 정수 $t$ 이내에 $\epsilon$-하위최적점을 찾지 못할 확률을 분석하기 위해, 쿼리 방향이 $j \geq t$ 인 어떤 $v_j$ 와도 일치할 가능성을 제한한다.
• 고차원에서 무작위 벡터의 구의 대칭성을 적용하여, 쿼리 방향이 나머지 $v_j$ 와 큰 내적을 가지는 확률을 고차원 구의 표면적 비율로 제한한다.
• 집중 경계와 부등식 $1 - x \leq e^{-x}$ 를 사용하여 각 단계의 실패 확률 상한을 구하고, $k$ 단계에 걸쳐 곱을 취한다.
• 요아의 최소최대 원리를 적용: 만약 결정론적 알고리즘이 무작위 함수 분포 상에서 평균적으로 $\Omega(1/\epsilon^2)$ 쿼리가 필요하다면, 임의의 랜덤화 알고리즘도 최악의 경우 평균적으로 $\Omega(1/\epsilon^2)$ 쿼리가 필요하다.

실험 결과

연구 질문

• RQ1 랜덤화는 결정론적 방법에 비해 $L$-Lipschitz 함수의 1차 최적화에 대해 최악의 경우 오라클 복잡도를 감소시킬 수 있는가?
• RQ2 랜덤화 알고리즘에 대해 $\Omega(L^2B^2/\epsilon^2)$ 하한을 명시적인 구성으로 확립할 수 있는가? 이는 결정론적 경우와 일치한다.
• RQ3 고차원에서 무작위 방향 샘플링이 1차 최적화에서 적대적 함수 구조를 피하는 데 의미 있는 이점을 제공하는가?
• RQ4 하한을 간접적 또는 재귀적 추론이 아닌 직접적인 확률적 분석을 통해 유도할 수 있는가?
• RQ5 무작위 방향 추측이 함수 구조에 대한 유용한 정보를 泄露하지 않도록 하기 위해 필요한 최소 차원 $d$ 는 얼마인가?

주요 결과

• 논문은 $L$-Lipschitz 볼록 함수를 반지름 $B$인 구 위에서 최소화하기 위해 임의의 랜덤화된 1차 알고리즘이 $Ω(L^2B^2/ε^2)$ 예상 오라클 쿼리가 필요함을 명확히 한다.
• 이 하한은 차원 $d$ 가 충분히 크면 성립하며, 특히 $d \geq \frac{2L^8B^8}{\epsilon^8} \log\left(\frac{L^4B^4}{\epsilon^4}\right)$ 일 때 성립하여, 무작위 방향 추측이 유리하지 않음을 보장한다.
• 구성은 무작위 정규직교 기저를 사용한 최대아핀 함수의 가족을 사용하여, 이전 쿼리로 향후 방향에 대한 정보를 얻는 것을 방지한다.
• 결정론적 알고리즘이 $k = \Omega(1/\epsilon^2)$ 쿼리 이내에 $\epsilon$-하위최적해를 찾지 못할 확률은 1에서 벗어나며, $d$ 가 충분히 크면 특히 $15/16$ 초과이다.
• 요아의 최소최대 원리를 통해, 임의의 랜덤화 알고리즘의 예상 쿼리 수는 최소 $\Omega(1/\epsilon^2)$ 이며, 이는 랜덤화가 최악의 경우 복잡도를 향상시키지 못함을 증명한다.
• 비미분 가능하고 강凸이 아닌 문제에 대해, 랜덤화된 1차 방법이 결정론적 방법보다 최악의 경우 오라클 복잡도 측면에서 뛰어나지 않음을 확인한다.