[논문 리뷰] Revisiting Projection-free Online Learning: the Strongly Convex Case

Dan Garber, Ben Kretzu|arXiv (Cornell University)|2020. 10. 15.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 8

한 줄 요약

이 논문은 온라인 학습에서 프로젝션 프리(projection-free) 방법을 재검토하며, 온라인 프랭크-울프(OFW) 방법을 사용하여 강한 볼록성은 전체 정보 및 밴딧 설정 모두에서 O(T^{2/3})의 더 빠른 리그레트 경계를 가능하게 한다는 것을 입증한다. 이는 비강한 볼록 함수에 대한 표준 O(T^{3/4}) 속도를 뛰어넘는 놀라운 결과이다. 이 개선은 기존의 프랭크-울프 방법이 강한 볼록성의 이점을 얻지 못하는 데 비해, 블록 기반 업데이트와 근사 오차가 유한한 선형 최적화 오라클을 활용함으로써 강한 볼록성을 OFW 프레임워크 내에서 효과적으로 활용함으로써 발생한다.

ABSTRACT

Projection-free optimization algorithms, which are mostly based on the classical Frank-Wolfe method, have gained significant interest in the machine learning community in recent years due to their ability to handle convex constraints that are popular in many applications, but for which computing projections is often computationally impractical in high-dimensional settings, and hence prohibit the use of most standard projection-based methods. In particular, a significant research effort was put on projection-free methods for online learning. In this paper we revisit the Online Frank-Wolfe (OFW) method suggested by Hazan and Kale \cite{Hazan12} and fill a gap that has been left unnoticed for several years: OFW achieves a faster rate of $O(T^{2/3})$ on strongly convex functions (as opposed to the standard $O(T^{3/4})$ for convex but not strongly convex functions), where $T$ is the sequence length. This is somewhat surprising since it is known that for offline optimization, in general, strong convexity does not lead to faster rates for Frank-Wolfe. We also revisit the bandit setting under strong convexity and prove a similar bound of $ ilde O(T^{2/3})$ (instead of $O(T^{3/4})$ without strong convexity). Hence, in the current state-of-affairs, the best projection-free upper-bounds for the full-information and bandit settings with strongly convex and nonsmooth functions match up to logarithmic factors in $T$.

연구 동기 및 목표

• 프로젝션 프리 온라인 학습에서 오랫동안 忽시된 격차를 해결한다: 강한 볼록성이 리그레트 속도에 미치는 영향.
• 이전 연구가 볼록성만을 가정한 바 있는, 강한 볼록성 하에서 OFW 방법과 그 밴딧 변형을 재평가한다.
• 로그arithmic 요소를 제외한 최고의 알려진 상한과 일치하는 더 날카운 리그레트 경계를 확립한다.
• 강한 볼록성이 온라인 설정에서는 기여하지만 오프라인 프랭크-울프 수렴 속도를 향상시키지 못하는 이유에 대한 이론적 근거를 제공한다.

제안 방법

• 표준 온라인 프랭크-울프(OFW) 알고리즘과 블록 처리를 적용한 그의 밴딧 변형을 재분석한다.
• 각 블록이 다수의 라운드를 처리하는 블록 기반 업데이트를 도입하여 반복 계산의 정확도를 향상시킨다.
• 각 블록에서 선형 최적화 오라클을 사용하여 내림값 방향을 계산함으로써 비용이 많이 드는 프로젝션을 피한다.
• 각 블록 내에서 반복값과 최적 해 사이의 근사 오차 항 ǫm을 사용하여 리그레트를 경계한다.
• 부드러움과 강한 볼록성을 고려한 프랭크-울프 수렴 보장을 적용하여 각 블록의 오라클 호출 수를 제한한다.
• 밴딧 설정에서는 기울기 추정 기법을 활용하고, 오차가 블록 간 전파되는 것을 통제한다.

실험 결과

연구 질문

• RQ1 강한 볼록성이 오프라인 프랭크-울프 수렴을 향상시키지 못하는 바에 비해, 프로젝션 프리 온라인 학습에서 리그레트 속도를 빠르게 할 수 있는가?
• RQ2 강한 볼록성 하에서 전체 정보 설정에서 OFW의 최고로 달성 가능한 리그레트 경계는 무엇인가?
• RQ3 OFW의 밴딧 변형은 강한 볼록성 하에서 전체 정보 설정의 리그레트 경계를 달성할 수 있는가?
• RQ4 블록 처리 방식은 프로젝션 프리 온라인 알고리즘의 정확도와 리그레트 성능을 어떻게 향상시키는가?

주요 결과

• 강한 볼록성 하에서 전체 정보 설정에서 OFW 알고리즘이 O(T^{2/3})의 리그레트 경계를 달성하며, 표준 O(T^{3/4}) 속도를 뛰어넘는다.
• 밴딧 설정에서는 기대 리그레트 경계가 Õ((nT)^{2/3})로, 로그 요소를 제외한 최고의 알려진 상한과 일치한다.
• 이 개선은 오프라인 프랭크-울프가 이점을 얻지 못하는 바에 비해, 강한 볼록성 하에서 프랭크-울프 서브루틴의 더 강력한 수렴 덕분이다.
• 분석 결과, 강한 볼록성 하에서 선형 최적화 오라클 호출 수가 O(T^{2/3})로 스케일링되며, 이는 로그 요소를 제외한 최적이다.
• 근사 오차에 대해 강건하며, 기울기 노름과 강한 볼록성 매개변수의 유한성 조건 하에서도 성립한다.
• 이론적 결과는 블록 단위 근사 오차와 오라클 호출 수를 통해 리그레트를 경계하는 새로운 분석 프레임워크에 의해 뒷받침된다.