[논문 리뷰] On the Online Frank-Wolfe Algorithms for Convex and Non-convex Optimizations

Jean Lafond, Hoi-To Wai외 1명|arXiv (Cornell University)|2015. 10. 05.

Stochastic Gradient Optimization Techniques참고 문헌 3인용 수 8

한 줄 요약

이 논문은 확률적 비용 설정 하에서 볼록 및 비볼록 최적화를 위한 온라인 프랭크-울프(O-FW) 및 온라인 어웨이 스텝 프랭크-울프(O-AW) 알고리즘을 제안한다. 강한 볼록성과 내부점/다각형 제약 조건 하에서, 이들 방법은 𝒪(log³T/T)의 개선된 리그레트 경계와 anytime 최적성 𝒪(log²T/T)를 달성하며, 비볼록 설정에서는 적응형 스텝 사이즈나 하이브리드 기법을 요구하지 않고도 𝒪(1/√T) 속도로 정류점으로 수렴함을 보였다.

ABSTRACT

In this paper, the online variants of the classical Frank-Wolfe algorithm are considered. We consider minimizing the regret with a stochastic cost. The online algorithms only require simple iterative updates and a non-adaptive step size rule, in contrast to the hybrid schemes commonly considered in the literature. Several new results are derived for convex and non-convex losses. With a strongly convex stochastic cost and when the optimal solution lies in the interior of the constraint set or the constraint set is a polytope, the regret bound and anytime optimality are shown to be ${\cal O}( \log^3 T / T )$ and ${\cal O}( \log^2 T / T)$, respectively, where $T$ is the number of rounds played. These results are based on an improved analysis on the stochastic Frank-Wolfe algorithms. Moreover, the online algorithms are shown to converge even when the loss is non-convex, i.e., the algorithms find a stationary point to the time-varying/stochastic loss at a rate of ${\cal O}(\sqrt{1/T})$. Numerical experiments on realistic data sets are presented to support our theoretical claims.

연구 동기 및 목표

• 하이브리드 기법의 계산 오버헤드를 피하는 간단하고 비적응형 온라인 투영 없음 알고리즘을 개발하여 제약 조건이 있는 최적화에 적용한다.
• 특히 최적 해가 제약 집합의 내부에 있거나 다각형일 경우, 강한 볼록성 하에서 온라인 프랭크-울프의 빠른 리그레트 및 anytime 최적성 경계를 확립한다.
• 비볼록 손실 함수로의 수렴 보장을 확장하여, 투영 없음 온라인 설정에서 정류점으로의 수렴 속도 𝒪(1/√T)를 처음으로 보여준다.
• 실제 데이터셋을 사용한 온라인 행렬 완성 및 강건한 이元 분류 문제에서 이론적 주장의 타당성을 수치 실험을 통해 검증한다.

제안 방법

• 진정한 손실의 기대값에 대한 기울기 대신, 각 라운드에서 온라인으로 계산된 누적 기울기의 대체로 비적응형 스텝 사이즈 규칙과 반복적 갱신을 사용한다.
• 기존의 프랭크-울프 및 어웨이 스텝 프랭크-울프 업데이트 규칙을 온라인 설정에 적용하며, 진짜 기울기를 각 라운드의 확률적 추정치로 대체한다.
• 강한 볼록성과 특정한 제약 집합 구조(내부점 또는 다각형) 하에서 더 날카운 리그레트 및 최적성 경계를 유도하기 위해 향상된 분석 프레임워크를 활용한다.
• 확률적 기울기의 편차를 제어하고 고확률 수렴을 보장하기 위해 농도 불등식(Hoeffding의 불등식 및 서브-가우시안 尾 꼬리 유계)을 사용한다.
• 수렴 속도 향상을 위해 수치 실험에서 배치 처리 및 내부 루프 반복을 도입하면서도 각 반복의 복잡도를 낮게 유지한다.
• 제안된 온라인 투영 없음 기법의 효율성과 효과성을 입증하기 위해, 표준 확률적 투영 기반 기울기(sPG) 방법과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 비적응형 스텝 사이즈를 사용하는 단순한 온라인 프랭크-울프 알고리즘이 강한 볼록성 하에서 고도로 발전된 하이브리드 투영 없음 방법과 경쟁 가능한 리그레트 경계를 달성할 수 있는가?
• RQ2 특히 최적 해가 제약 집합의 내부에 있거나 집합이 다각형인 경우, 제약 집합 기하학의 영향이 온라인 프랭크-울프의 수렴 속도에 미치는 영향은 어떠한가?
• RQ3 온라인 투영 없음 방법은 비볼록 최적화에서 정류점으로 수렴할 수 있으며, 그 수렴 속도는 어떠한가?
• RQ4 실제로 제안된 온라인 프랭크-울프 및 어웨이 스텝 변형이 투영 기반 기울기 방법에 비해 수렴 속도와 계산 비용 측면에서 어떻게 비교되는가?

주요 결과

• 강한 볼록성과 최적 해가 제약 집합의 내부에 있을 경우, 온라인 프랭크-울프 알고리즘이 𝒪(log³T/T)의 리그레트 경계와 𝒪(log²T/T)의 anytime 최적성을 달성한다.
• 제약 집합이 다각형일 경우, 온라인 어웨이 스텝 프랭크-울프 알고리즘이 동일한 리그레트 및 anytime 최적성 경계 𝒪(log³T/T)와 𝒪(log²T/T)를 달성한다.
• 비볼록 손실 함수에 대해서는 온라인 프랭크-울프 및 어웨이 스텝 변형이 정류점으로 𝒪(1/√T) 속도로 수렴하며, 이는 투영 없음 온라인 비볼록 최적화에서 처음으로 보고된 수렴 속도 결과이다.
• 제안된 알고리즘은 특히 희소 복원을 수반하는 온라인 행렬 완성 작업에서 표준 확률적 투영 기반 기울기 방법에 비해 실행 시간 측면에서 뛰어난 성능을 보였다.
• 합성 및 실세계 데이터셋(예: 단일 픽셀 영상에 사용된 R64.mat)을 대상으로 한 수치 실험 결과, O-FW와 O-AW 모두 근사적으로 𝒪(1/t) 속도로 원래 목적 함수 수렴을 달성하였으며, 이는 이론적 기대와 일치하였다.
• 이론적으로 확보된 리그레트 및 최적성 경계의 개선이 실증적으로도 확인되었으며, 최적 해가 제약 집합의 내부에 있지 않을 경우 O-AW가 O-FW에 비해 약간의 성능 향상을 보였다.