[논문 리뷰] Frank-Wolfe Method is Automatically Adaptive to Error Bound Condition

Yi Xu, Tianbao Yang|arXiv (Cornell University)|2018. 10. 10.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 7

한 줄 요약

이 논문은 선형 검색을 사용하는 프랭크-울프(Frank-Wolfe, FW) 방법이 볼록 최적화에서 오차 경계 조건을 자동으로 적응함을 보여주며, $\theta \in [0,1]$에 대해 $O(\max(1/\epsilon^{1-\theta}, \log(1/\epsilon)))$의 향상된 반복 복잡도를 달성한다. 목적 함수가 강볼록이고 제약 집합이 강볼록 함수로 정의될 경우, 이 방법은 빠른 $O(1/t^2)$ 수렴 속도를 확보한다.

ABSTRACT

Error bound condition has recently gained revived interest in optimization. It has been leveraged to derive faster convergence for many popular algorithms, including subgradient methods, proximal gradient method and accelerated proximal gradient method. However, it is still unclear whether the Frank-Wolfe (FW) method can enjoy faster convergence under error bound condition. In this short note, we give an affirmative answer to this question. We show that the FW method (with a line search for the step size) for optimization over a strongly convex set is automatically adaptive to the error bound condition of the problem. In particular, the iteration complexity of FW can be characterized by $O(\max(1/ε^{1-θ}, \log(1/ε)))$ where $θ\in[0,1]$ is a constant that characterizes the error bound condition. Our results imply that if the constrained set is characterized by a strongly convex function and the objective function can achieve a smaller value outside the considered domain, then the FW method enjoys a fast rate of $O(1/t^2)$.

연구 동기 및 목표

• 기타 1차 방법들과 마찬가지로 오차 경계 조건 하에서 프랭크-울프 방법이 더 빠른 수렴을 달성할 수 있는지 조사하기 위해.
• 선형 검색을 사용하는 FW 방법이 파rameter $\theta$에 대한 사전 지식이 없이도 오차 경계 조건에 본질적으로 적응함을 입증하기 위해.
• 오차 경계 파rameter $\theta \in [0,1]$에 따라 FW 방법의 반복 복잡도를 규명하기 위해.
• 목적 함수와 제약 집합이 강볼록일 경우, FW 방법이 $O(1/t^2)$ 수렴 속도를 달성할 수 있음을 보여주기 위해.

제안 방법

• 분석은 스무스성 상수를 알 필요 없이 스텝 크기 선택을 위해 선형 검색을 사용하는 프랭크-울프 방법에 집중한다.
• 오차 경계 조건, 즉 어떤 $\theta \in [0,1]$에 대해 $\|\nabla f(x)\| \geq \kappa \cdot \text{dist}(x, X^*)^{\theta}$로 정의되는 조건을 활용하여 향상된 수렴 속도를 도출한다.
• 오차 경계 조건의 구조와 FW 갱신 규칙을 결합하여, $\theta$에 따라 부적합도 갭을 유계로 제한한다.
• 증명 기법은 각 반복에서 목적 함수 값의 감소를 최적 집합까지의 거리와 오차 경계 파arameter $\theta$와 연결함으로써 수행된다.
• 분석은 스무스성과 강볼록성을 동시에 만족하는 목적 함수 및 강볼록한 탇합 집합에 대해 적용 가능하다.
• 이 방법은 파arameter $\theta$에 대해 자동으로 적응함을 보여주며, 파arameter의 명시적 튜닝이나 지식이 필요하지 않다.

실험 결과

연구 질문

• RQ1 기타 1차 방법들과 마찬가지로 오차 경계 조건 하에서 프랭크-울프 방법이 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 프랭크-울프 방법이 파arameter $\theta$에 대해 사전 지식이나 알고리즘 수정 없이 본질적으로 적응 가능한가?
• RQ3 오차 경계 조건이 파arameter $\theta \in [0,1]$로 성립할 경우, 프랭크-울프 방법의 정확한 반복 복잡도는 무엇인가?
• RQ4 어떤 조건에서 프랭크-울프 방법이 $O(1/t^2)$ 수렴 속도를 달성하는가?

주요 결과

• 오차 경계 조건 하에서 파arameter $\theta \in [0,1]$를 갖는 프랭크-울프 방법은 반복 복잡도 $O(\max(1/\epsilon^{1-\theta}, \log(1/\epsilon)))$를 달성한다.
• $\theta = 1$일 경우, 복잡도는 $O(\log(1/\epsilon))$로 감소하여 로그 수렴 속도를 나타낸다.
• $\theta < 1$일 경우, 복잡도는 $O(1/\epsilon^{1-\theta})$이며, 이는 기존 FW 방법의 표준 $O(1/\epsilon)$ 속도보다 향상된 것이다.
• 목적 함수가 강볼록이고 제약 집합이 강볼록 함수로 정의될 경우, 방법은 빠른 $O(1/t^2)$ 수렴 속도를 달성한다.
• 이 방법은 $\theta$에 대해 자동으로 적응하므로, 향상된 속도를 달성하기 위해 $\theta$에 대한 사전 지식이 필요하지 않다.