[논문 리뷰] Blended Conditional Gradients: the unconditioning of conditional gradients

Gábor Braun, Sebastian Pokutta외 2명|arXiv (Cornell University)|2018. 05. 18.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 18

한 줄 요약

이 논문은 다각형 위에서 미분 가능 볼록 함수를 최소화하기 위한 새로운 1차 최적화 방법인 혼합 조건부 기울기 하강법(BCG)을 소개한다. BCG는 활성 정점 집합 위에서 조건부 기울기 하강 단계와 비정확한 기울기 기반 하강 단계를 결합하며, 약한 분리 오라클과 단체형 하강 오라클을 사용하여 강凸 함수에 대해 선형 수렴를 달성하면서도 희소성과 투영을 유지한다. 이는 기존 변종들보다 반복 횟수와 벽시계 시간 모두에서 뛰어난 성능을 보인다.

ABSTRACT

We present a blended conditional gradient approach for minimizing a smooth convex function over a polytope P, combining the Frank--Wolfe algorithm (also called conditional gradient) with gradient-based steps, different from away steps and pairwise steps, but still achieving linear convergence for strongly convex functions, along with good practical performance. Our approach retains all favorable properties of conditional gradient algorithms, notably avoidance of projections onto P and maintenance of iterates as sparse convex combinations of a limited number of extreme points of P. The algorithm is lazy, making use of inexpensive inexact solutions of the linear programming subproblem that characterizes the conditional gradient approach. It decreases measures of optimality (primal and dual gaps) rapidly, both in the number of iterations and in wall-clock time, outperforming even the lazy conditional gradient algorithms of [arXiv:1410.8816]. We also present a streamlined version of the algorithm for the probability simplex.

연구 동기 및 목표

• 강凸 함수에 대해 선형 수렴를 달성하면서도 희소성과 투영을 유지하는 조건부 기울기 하강법을 개발하는 것.
• 비정확한 오라클 호출과 기울기 기반 하강 단계를 조합하여 기존 조건부 기울기 변종들보다 실용적 성능을 향상시키는 것.
• 이중 갭 추정치를 기반으로 프랭크-울프, 하강, 삭제 단계를 동적으로 선택하는 게으른, 적응형 알고리즘을 설계하는 것.
• 완전한 수정 단계를 필요로 하지 않고도 효율성과 희소성을 유지하기 위해 작은 활성 정점 집합을 유지하는 것.
• 최신 기준에 맞는 이론적 수렴 보장을 제공하면서도 실제로는 벽시계 시간에서 기존 변종들을 능가하는 성능을 보이는 것.

제안 방법

• BCG는 전체 선형계획법(LP) 오라클이 달성할 수 있는 진전의 일부를 확보하는 정점을 찾기 위해 약한 분리 오라클을 사용하여 고비용의 전체 LP 해법에 대한 의존도를 줄인다.
• 활성 정점 집합을 유지하고, 이 정점들의 볼록 hull 내에서 하강을 수행하기 위해 단체형 하강 오라클(SiDO)을 적용하여 함수 값을 개선하거나 활성 집합 크기를 줄인다.
• 이중 갭 진전 추정치를 기반으로 프랭크-울프 단계, 하강 단계, 삭제 단계를 번갈아가며 적용하여 적응형 단계 선택을 가능하게 한다.
• 하강 단계는 활성 집합 위에서 투영 기반 기울기 하강(PGD) 또는 단순 기울기 하강(SiGD)을 통해 구현되며, 진행도를 최대화할 수 있도록 단계 크기를 선택한다.
• 이 방법은 투영 없이 작동하며, 반복값이 다각형의 극단점들의 작은 수의 희소 볼록 조합으로 유지된다.
• 특정 도메인인 확률 단체형에 최적화된 간소화된 버전이 제공된다.

실험 결과

연구 질문

• RQ1 강凸 함수에 대해 선형 수렴를 달성하면서도 희소성과 투영을 유지하는 조건부 기울기 하강법을 개발할 수 있는가?
• RQ2 비정확한, 약한 오라클을 기울기 기반 하강 단계와 효과적으로 조합하여 수렴 속도와 벽시계 성능을 향상시킬 수 있는가?
• RQ3 프랭크-울프, 하강, 삭제 단계를 적응적으로 혼합하는 방식이 기존 변종들인 쌍방향 단계 또는 게으른 CG와 비교해 실생활에서 어떻게 성능을 냈는가?
• RQ4 완전한 수정 단계 없이도 진행도와 계산 비용을 균형 잡고 활성 정점 집합을 효율적으로 관리할 수 있는가?
• RQ5 단체형 하강 오라클의 사용이 표준 Away-step 또는 쌍방향 단계 방법보다 더 빠른 수렴을 이끌 수 있는가?

주요 결과

• BCG는 강凸 함수에 대해 선형 수렴를 달성하며, 최신 기준의 프랭크-울프 변종들 수준의 이론적 수렴 속도를 상수 인자 범위 내에서 달성한다.
• BCG는 브라운 등(2017)의 게으른 조건부 기울기 하강(LCG) 알고리즘보다 여러 테스트 인스턴스에서 반복 횟수와 벽시계 시간 모두에서 뛰어난 성능을 보였다.
• 11개 노드를 가진 스패닝 트리 다각형에서 BCG는 3031회의 반복을 수행했으며, LP 오라클 호출은 1501회였고, 최종 해는 232개의 정점을 사용했다.
• 디스크톰 다각형에서는 346회의 반복, 71회의 LP 호출, 최종 해는 39개의 정점을 포함했으며, 이는 이중 갭 감소가 매우 빠르게 이루어졌음을 보여준다.
• SiDO의 가속화 버전은 하위문제의 크기가 작아서 벽시계 시간에서 뚜렷한 속도 향상을 가져오지 못했지만, 반복 횟수는 약간 향상되었다.
• BCG는 FCFW의 높은 단계별 진행도에 비해 보정 단계의 비용이 높아 벽시계 시간에서 FCFW를 능가했다.