[논문 리뷰] Linear Convergence of Stochastic Frank Wolfe Variants

Donald Goldfarb, Garud Iyengar외 1명|arXiv (Cornell University)|2017. 03. 21.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 대규모 정규화된 경험 위험 최소화 문제를 해결하기 위해 Away-step Stochastic Frank-Wolfe (ASFW) 및 Pairwise Stochastic Frank-Wolfe (PSFW) 알고리즘을 제안하고 분석한다. 새로운 증명 기법을 통해 경험 과정과 농도 불등식을 기반으로 기대값에 대한 선형 수렴과 거의 확실히 선형 수렴을 증명하며, 합성 및 실제 데이터셋에서 스위치 경쟁자 대비 CPU 시간 성능이 뛰어나다는 것을 보여준다.

ABSTRACT

In this paper, we show that the Away-step Stochastic Frank-Wolfe Algorithm (ASFW) and Pairwise Stochastic Frank-Wolfe algorithm (PSFW) converge linearly in expectation. We also show that if an algorithm convergences linearly in expectation then it converges linearly almost surely. In order to prove these results, we develop a novel proof technique based on concepts of empirical processes and concentration inequalities. Such a technique has rarely been used to derive the convergence rates of stochastic optimization algorithms. In large-scale numerical experiments, ASFW and PSFW perform as well as or better than their stochastic competitors in actual CPU time.

연구 동기 및 목표

• 대규모 최적화에서 스위치 프랭크-울프 변종의 기대값에 대한 선형 수렴과 거의 확실한 선형 수렴을 확립하기 위해.
• 프랭크-울프 방법 수렴 분석에서 스위치적이고 조합적인 접근을 통합하는 데 도전하는 데에.
• 스위치 최적화 알고리즘을 분석하기 위해 경험 과정과 농도 불등식을 기반으로 한 새로운 증명 프레임워크를 개발하기 위해.
• 실제 및 합성 데이터셋에서 ASFW 및 PSFW의 실용적 성능을 SVRF 및 Prox-SVRG와 같은 스위치 경쟁자들과 비교하기 위해.
• 표준 O(1/k) 수렴 속도를 초월해 스위치 프랭크-울프 방법의 이론적 이해를 확장하기 위해.

제안 방법

• 대규모 데이터를 가진 부드럽고 제약 조건이 있는 최적화 문제를 해결하기 위해 Away-step Stochastic Frank-Wolfe (ASFW) 및 Pairwise Stochastic Frank-Wolfe (PSFW) 알고리즘을 제안한다.
• 큰 n 설정에서 반복 단위 비용을 줄이기 위해 전체 기울기 대신 스위치 기울기를 사용한다.
• 수렴 분석을 위해 경험 과정 이론과 농도 불등식을 결합한 새로운 증명 기법을 적용한다.
• 스위치 기울기와 방향에 따라 변하는 적응형 스텝 사이즈를 도입하며, 최대 스텝 사이즈 제한을 둔다.
• 다각형 제약 조건과 강凸 목적 함수에 적용하여, 약한 조건 하에서도 선형 수렴을 보장한다.
• 계산 효율성을 향상시키기 위해 FW 하위문제에서 l1-구역 위의 선형 최적화에 대해 명시적 해를 사용한다.

실험 결과

연구 질문

• RQ1 Away-step Stochastic Frank-Wolfe 알고리즘이 표준 가정 하에 기대값에 대해 선형 수렴을 달성할 수 있는가?
• RQ2 기대값에 대한 선형 수렴이 스위치 프랭크-울프 변종에 대해 거의 확실한 선형 수렴을 의미하는가?
• RQ3 경험 과정과 농도 불등식을 기반으로 한 새로운 증명 기법이 스위치 프랭크-울프 알고리즘 분석에 성공적으로 적용될 수 있는가?
• RQ4 CPU 시간과 수렴 속도 측면에서 ASFW 및 PSFW는 기존의 스위치 방법들인 SVRF 및 Prox-SVRG와 비교해 실제로 어떻게 성능을 내는가?
• RQ5 목적 함수가 강凸이 아니거나 최적값이 경계에 위치할 경우, 제안된 알고리즘이 여전히 선형 수렴을 유지할 수 있는가?

주요 결과

• ASFW 및 PSFW 알고리즘은 강凸성과 다각형 제약 조건 가정 하에 기대값에 대해 선형 수렴을 달성한다.
• 기대값에 대한 선형 수렴은 거의 확실한 선형 수렴을 함의하며, 본 연구에서 처음으로 이 결과를 확립한다.
• 경험 과정과 농도 불등식을 기반으로 한 새로운 증명 기법이 스위치 프랭크-울프 변종의 수렴 속도를 성공적으로 확립한다.
• 대규모 수치 실험에서, 모든 테스트 설정에서 ASFW 및 PSFW는 SVRF 및 Prox-SVRG와 비교해 실제 CPU 시간에서 우수하거나 동등한 성능을 보였다.
• 463,715개의 샘플을 가진 Million Song Dataset에서, ASFW 및 PSFW는 SVRF 및 Prox-SVRG와 비교해 더 나은 또는 유사한 목적 함수 값을 달성했으며, SVRF에 비해 진동이 적었다.
• SVRF에서 관찰되는 에포크 시작 시 큰 스텝 사이즈로 인한 주기적 성능 변동이 없이, 알고리즘은 안정적인 성능을 보였다.