[논문 리뷰] Self-Concordant Analysis of Frank-Wolfe Algorithms

Pavel Dvurechensky, Petr Ostroukhov외 3명|arXiv (Cornell University)|2020. 02. 11.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 5

한 줄 요약

이 논문은 자가-일관성(스elf-concordant, SC) 함수를 최소화하기 위한 적응형 Frank-Wolfe(FW) 알고리즘을 소개한다. SC 함수는 머신러닝에서 흔하지만, 비한계적인 곡률을 지녀 표준 FW 가정 하에서 이론적 수렴 보장이 부족하다. SC 함수의 성질을 활용해, 전역적으로 O(1/k) 수렴을 보장하는 새로운 스텝 사이즈 정책을 설계하였으며, 수준집합 상의 강凸성과 국소 선형 최소화 오라클(LLOO) 조건 하에서 선형 수렴을 달성하는 새로운 FW 변형을 제안한다.

ABSTRACT

Projection-free optimization via different variants of the Frank-Wolfe (FW), a.k.a. Conditional Gradient method has become one of the cornerstones in optimization for machine learning since in many cases the linear minimization oracle is much cheaper to implement than projections and some sparsity needs to be preserved. In a number of applications, e.g. Poisson inverse problems or quantum state tomography, the loss is given by a self-concordant (SC) function having unbounded curvature, implying absence of theoretical guarantees for the existing FW methods. We use the theory of SC functions to provide a new adaptive step size for FW methods and prove global convergence rate O(1/k) after k iterations. If the problem admits a stronger local linear minimization oracle, we construct a novel FW method with linear convergence rate for SC functions.

연구 동기 및 목표

• 자기-일관성(SC) 함수를 최소화할 때 프랭크-울프(FW) 방법의 이론적 수렴 보장 부족 문제를 해결한다. SC 함수는 머신러닝에서 흔하지만 비한계적인 곡률을 지닌다.
• 표준 FW 수렴 분석이 실패하는 문제를 해결한다. 이는 곡률가 제한되지 않은 조건과 리프시츠 연속성 기반의 기울기 조건을 필요로 하는 데, SC 함수는 이러한 조건을 만족하지 못한다.
• 목적 함수의 단조 감소를 보장하는 적응형 스텝 사이즈 정책을 개발한다. 이는 수준집합의 스무쓰니스와 강凸성에 기반한 수렴 분석이 가능하도록 한다.
• 국소 선형 최소화 오라클(LLOO)과 수준집합 상의 강凸성 조건 하에서, 새로운 FW 변형이 선형 수렴 속도를 달성할 수 있음을 증명한다. 이는 FW의 적용 범위를 SC 문제로 확장한다.
• SC 설정에서의 FW 방법을 위한 통합 프레임워크를 제공함으로써, 포아송 역문제 및 양자 상태 토모그래피와 같은 실제 응용 분야에의 실용적 적용을 가능하게 한다.

제안 방법

• 자기-일관성 성질을 활용해, 전역 리프시츠 상수에 의존하지 않고도 목적 함수의 단조 감소를 보장하는 적응형 스텝 사이즈를 설계한다.
• 전역 스무쓰니스가 없을 경우에도, SC 함수 이론에서 유도된 수준집합 스무쓰니스와 강凸성을 기반으로 한 새로운 수렴 분석 프레임워크를 제안한다.
• 국소 강凸성 조건 하에서, 국소 선형 최소화 오라클(LLOO)을 사용하는 새로운 FW 변형을 구축하여 선형 수렴을 달성한다.
• SC 함수의 구조를 활용해 곡률를 암묵적으로 제어하는 스텝 사이즈를 정의함으로써, 스무쓰니스 파rameter의 사전 지식 없이도 수렴을 보장한다.
• 세 가지 변형을 구현하고 비교한다: 두 가지 적응형 FW 방법(V1, V2)과 선형 탐색 변형. 포트폴리오 최적화 및 포아송 역문제에서의 수치적 검증을 수행한다.
• 포트폴리오 문제에서 국소 근사가 가능하도록, 가르버와 하잔(Garber & Hazan, 2016)에서 제안한 1-노름 이웃 영역 기반의 특수한 LLOO 구성 방식을 단순체의 제약 조건에 적용한다.

실험 결과

연구 질문

• RQ1 자기-일관성 함수를 최소화할 때, 리프시츠 연속 기울기를 갖지 않으며 곡률가 비한계적인 프랭크-울프 방법이 전역 수렴 가능할 수 있는가?
• RQ2 전역 스무쓰니스 또는 강凸성이 없을 경우, 어떤 적응형 스텝 사이즈 정책이 FW 방법의 전역 O(1/k) 수렴을 보장하는가?
• RQ3 어떤 조건에서 프랭크-울프 변형이 자기-일관성 함수에 대해 선형 수렴 속도를 달성할 수 있는가?
• RQ4 국소 선형 최소화 오라클(LLOO)을 어떻게 효과적으로 활용하여 SC 최소화 문제에서 수렴 속도를 향상시킬 수 있는가?
• RQ5 제안된 FW 변형이 포트폴리오 최적화 및 포아송 역문제와 같은 실질적 SC 문제에서 기존의 표준 FW 및 프록시멀 뉴턴 방법을 능가할 수 있는가?

주요 결과

• 제안된 적응형 FW 변형은 리프시츠 연속 기울기가 없더라도 자기-일관성 함수에 대해 전역 O(1/k) 수렴 속도를 달성한다.
• SC 함수 성질에서 유도된 스텝 사이즈 정책을 통해 목적 함수의 단조 감소를 보장하며, 이는 수준집합 기반의 수렴 분석이 가능하게 한다.
• 국소 강凸성과 수준집합 상의 유한 곡률 조건 하에서, 국소 선형 최소화 오라클(LLOO)을 사용하는 새로운 FW 변형이 선형 수렴을 달성한다.
• 수치 실험 결과, 적응형 변형(V1, V2)이 고정 스텝 사이즈(2/(k+2))를 사용하는 표준 FW를 능가하며, 선형 탐색 및 프록시멀 뉴턴 방법과 비교해도 성능을 동등하거나 초월한다.
• 단순체 제약 조건에 대한 LLOO 구성 방식은 효과적이며, 포트폴리오 최적화 문제에서 국소 근사를 가능하게 하여 선형 수렴 결과를 뒷받침한다.
• 이 방법은 포아송 역문제 및 양자 상태 토모그래피와 같은 실제 문제에 적용 가능하며, 이들 분야에서 SC 손실 함수가 흔하지만 표준 FW는 수렴하지 못하는 상황에서 유용하다.