[논문 리뷰] Lazifying Conditional Gradient Algorithms

Gábor Braun, Sebastian Pokutta외 1명|arXiv (Cornell University)|2016. 10. 17.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 5

한 줄 요약

이 논문은 복잡한 탇행 영역에서 비용이 많이 드는 선형 최적화 오라클 호출을 더 약한, 빠른 분리 오라클로 대체하는 러닝 기법을 제안한다. 이는 벽시계 시간에서 몇 개의 지수 수준까지의 가속을 가능하게 하며 수렴 속도를 유지한다. 방법은 후보 해를 캐시하고 필요할 때만 전체 선형 오라클을 호출함으로써 상당한 효율성 향상을 이룬다. 이는 복잡한 타당 영역에서 특히 효과적이다.

ABSTRACT

Conditional gradient algorithms (also often called Frank-Wolfe algorithms) are popular due to their simplicity of only requiring a linear optimization oracle and more recently they also gained significant traction for online learning. While simple in principle, in many cases the actual implementation of the linear optimization oracle is costly. We show a general method to lazify various conditional gradient algorithms, which in actual computations leads to several orders of magnitude of speedup in wall-clock time. This is achieved by using a faster separation oracle instead of a linear optimization oracle, relying only on few linear optimization oracle calls.

연구 동기 및 목표

• 복잡한 타당 영역에서 비용이 많이 드는 선형 최적화 오라클 호출의 계산 비용을 줄이기 위해.
• 매 반복에서 선형 최적화 오라클이 반드시 필요한지, 그리고 수렴에 대해 더 약한 보장만으로도 충분한지 조사하기 위해.
• 캐싱과 조기 종료를 통해 이전에 계산된 해를 재사용함으로써 수렴을 훼손하지 않으면서 효율성을 향상시키기 위해.
• 수렴 속도를 유지하면서 실제 오라클 호출 수와 벽시계 시간을 크게 줄이는 실용적인 프레임워크를 개발하기 위해.

제안 방법

• 목표 함수를 $ K $ 배 향상시키는 정점 또는 그러한 정점이 존재하지 않음을 보고하는 약한 분리 오라클을 도입한다.
• 이전에 계산된 정점을 캐시하고 전체 선형 최적화 오라클을 호출하기 전에 먼저 캐시된 정점들을 확인함으로써 고비용 호출 수를 줄인다.
• 부정적인 분리 오라클 응답에서 유도된 이중 경계 $ \Phi_t $ 를 사용하여 부적합도를 추정하고 수렴을 이끌어낸다.
• 분리 오라클이 향상되는 정점을 찾지 못할 경우에만 선형 오라클을 호출하는 러닝 버전의 프랭크-울프 알고리즘을 설계한다.
• 반복적으로 절반 나누기와 선형 탐색을 통해 $ \Phi_t $ 를 적응적으로 조정함으로써 조정 매개변수 의존도를 최소화하는 파라미터 없는 버전을 구현한다.
• 캐시된 정점들의 볼록결합이 최적 해를 포함하게 되면, 이후에는 오직 캐시된 호출만 필요해지며, 진짜 오라클 사용이 극적으로 줄어든다.

실험 결과

연구 질문

• RQ1 조건부 그레디언트 알고리즘의 매 반복에서 선형 최적화 오라클을 완전히 피할 수 있을까? 이로 인해 수렴 속도가 떨어지지 않을까?
• RQ2 목표 함수를 약간 향상시키는 정점만 반환하는 더 약한 분리 오라클도 여전히 유사한 속도로 수렴을 지원할 수 있을까?
• RQ3 캐싱과 분리 오라클 쿼리의 조기 종료가 실질적으로 벽시계 시간을 크게 줄일 수 있을까?
• RQ4 약한 분리 오라클의 근사 매개변수 $ K $ 를 선택할 때, 반복 수와 계산 시간 사이의 트레이드오프에 어떤 영향을 미칠까?
• RQ5 파라미터 없는 러닝 조건부 그레디언트 방법의 버전이 교과서 버전보다 수렴과 효율성 측면에서 뛰어나게 성능을 낼 수 있을까?

주요 결과

• 복잡한 타당 영역에서 표준 조건부 그레디언트 방법에 비해 벽시계 시간에서 몇 개의 지수 수준까지의 가속을 달성한다.
• 약한 분리 오라클은 실제 선형 최적화 오라클 호출 수를 줄여 상당한 성능 향상을 이끌어내며, 수렴 속도는 소수의 상수 인자 정도만 저하된다.
• 러닝 조건부 그레디언트 알고리즘의 파라미터 없는 버전은 적응적인 $ \Phi_t $ 관리와 조정 오버헤드 감소 덕분에 반복 수와 벽시계 시간 모두에서 교과서 버전을 능가한다.
• 선형 오라클의 비용이 높은 문제에서는, 러닝 접근법을 통해 오직 캐시된 정점들만으로도 원천적 진전을 이룰 수 있으며, 진짜 오라클 호출 수가 최대 로그 수준으로 줄어든다.
• 근사 매개변수 $ K $ 를 증가시킬수록 계산 시간은 개선되지만 반복당 진전 속도는 느려지므로, 계산과 수렴 속도 사이의 조절 가능한 트레이드오프를 보여준다.
• 캐시된 정점들의 볼록결합이 최적 해를 포함하게 되면, 더 이상 진짜 선형 최적화 오라클 호출이 필요 없으며, 알고리즘은 오직 캐시된 해들만을 사용해 진전을 이룬다.