[논문 리뷰] Step-Size Adaptivity in Projection-Free Optimization

Fabián Pedregosa, Armin Askari외 2명|arXiv (Cornell University)|2018. 06. 13.

Stochastic Gradient Optimization Techniques참고 문헌 8인용 수 5

한 줄 요약

이 논문은 프로젝션 프리 최적화 알고리즘인 Frank-Wolfe와 매칭 퍼서스위트에 대해 배경 추적 선색을 사용하여 적응형 스텝 사이즈 전략을 도입한다. 전역 상수 대신 局부 목적 정보를 활용함으로써, 볼록 및 비볼록 문제 모두에서 가장 우수한 비적응형 변형과 동일한 수렴 속도를 달성하며, 세 가지 데이터셋에서 실용적 성능 향상을 경험한다.

ABSTRACT

We propose and analyze adaptive step-size (also known as inexact line search) variants of different projection-free algorithms such as Frank-Wolfe, its Away-Steps and Pairwise variants as well as Matching Pursuit. The proposed methods leverage local information of the objective through a backtracking line search strategy. This has two key advantages: First, it does rely on constants of the objective that might be costly to compute, such as the Lipschitz or the curvature constant. Second, the proposed criterion is adaptive to local information of the objective, allowing for larger step-sizes. For all proposed methods, we derive convergence rates on convex and non-convex problems that asymptotically match the strongest known bounds for non-adaptive variants. As a side-product of our analysis we obtain the first known bounds for matching pursuit on non-convex objectives. Benchmarks on three different datasets illustrate the practical advantages of the method.

연구 동기 및 목표

• 프로젝션 프리 알고리즘에서 계산 비용이 높은 전역 상수, 예를 들어 리프시츠 상수나 곡률 상수를 사용하지 않도록 하는 것.
• 국소 목적 정보에 기반해 동적으로 조정되는 적응형 스텝 사이즈 전략을 개발하는 것.
• 볼록 및 비볼록 설정 모두에서 비적응형 변형과 비교해 수렴 속도를 유지하거나 향상시키는 것.
• 비볼록 目적 함수에 대해 매칭 퍼서스위트의 첫 번째 알려진 수렴 한계를 설정하는 것.
• 세 가지 실세계 데이터셋에서의 벤치마크를 통해 실용적 이점을 입증하는 것.

제안 방법

• 국소 곡률과 내림값 정보에 기반해 적응형으로 스텝 사이즈를 선택하는 배경 추적 선색 전략을 제안한다.
• 적응형 스텝 사이즈 메커니즘을 Frank-Wolfe, 그의 Away-Steps 및 Pairwise 변형, 그리고 매칭 퍼서스위트에 적용한다.
• 리프시츠 상수와 같은 전역 상수의 명시적 계산을 피하기 위해 국소 충분 감소 조건에 의존한다.
• 핵심 업데이트 규칙의 수정을 최소화하면서 기존의 프로젝션 프리 프레임워크에 적응형 선색을 통합한다.
• 각 반복에서 진전을 보장하면서도 문제에 적합한 더 큰 스텝을 允許하는 충분한 감소 기준을 사용한다.
• 볼록 및 비볼록 설정 모두에서 수렴성을 분석하고, 알려진 최적 경계와 동일한 渐近 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 프로젝션 프리 알고리즘에서 적응형 스텝 사이즈는 곡률 상수나 리프시츠 상수와 같은 전역 상수를 요구하지 않고도 수렴을 향상시킬 수 있는가?
• RQ2 비적응형 대비 볼록 및 비볼록 최적화 문제에서 적응형 스텝 사이즈는 수렴 속도에 어떤 영향을 미치는가?
• RQ3 제안된 배경 추적 선색 전략은 매칭 퍼서스위트로 효과적으로 확장될 수 있으며, 어떤 수렴 보장을 설정할 수 있는가?
• RQ4 실세계 데이터셋에서 적응형 방법은 표준 프로젝션 프리 방법에 비해 어떤 실용적 성능 향상을 달성하는가?
• RQ5 비볼록 목적 함수에 대해 매칭 퍼서스위트의 첫 번째 알려진 수렴 한계는 무엇인가?

주요 결과

• 제안된 적응형 스텝 사이즈 방법은 볼록 및 비볼록 문제 모두에서 비적응형 변형의 가장 강력한 알려진 경계에 渐近적으로 도달하는 수렴 속도를 달성한다.
• 이 방법은 리프시츠 상수나 곡률 상수와 같은 전역 상수의 계산 또는 추정이 필요 없어지며, 계산 오버헤드가 감소한다.
• 배경 추적 선색은 국소 목적 정보를 활용해 더 크고 문제에 적합한 스텝 사이즈를 허용함으로써 실용적 수렴 속도를 향상시킨다.
• 분석을 통해 비볼록 목적 함수에 대해 매칭 퍼서스위트의 첫 번째 알려진 수렴 한계를 도출하였으며, 이는 이 알고리즘의 이론적 이해를 확장한다.
• 세 가지 다른 데이터셋에서의 실증 벤치마크는 적응형 방법이 표준 프로젝션 프리 알고리즘에 비해 일관되게 실용적 이점을 제공함을 보여준다.