[논문 리뷰] Linear-Memory and Decomposition-Invariant Linearly Convergent Conditional Gradient Algorithm for Structured Polytopes

Dan Garber, Ofer Meshi|arXiv (Cornell University)|2016. 05. 01.

Stochastic Gradient Optimization Techniques인용 수 23

한 줄 요약

이 논문은 차원에 의존하지 않는 선형 메모리 및 계산 비용을 갖는 구조적 페트롭스에 대해 선형 수렴를 달성하는 새로운 조건부 기울기 알고리즘을 제안한다. 분해 불변의 움직임 방식을 활용하여 차원에 의존하는 요소를 비희소성에 의존하는 항목으로 대체함으로써, 최적 해가 희소한 경우에 수렴 속도를 크게 향상시킨다.

ABSTRACT

Recently, several works have shown that natural modifications of the classical conditional gradient method (aka Frank-Wolfe algorithm) for constrained convex optimization, provably converge with a linear rate when the feasible set is a polytope, and the objective is smooth and strongly-convex. However, all of these results suffer from two significant shortcomings: i) large memory requirement due to the need to store an explicit convex decomposition of the current iterate, and as a consequence, large running-time overhead per iteration ii) the worst case convergence rate depends unfavorably on the dimension In this work we present a new conditional gradient variant and a corresponding analysis that improves on both of the above shortcomings. In particular, both memory and computation overheads are only linear in the dimension, and in addition, in case the optimal solution is sparse, the new convergence rate replaces a factor which is at least linear in the dimension in previous works, with a linear dependence on the number of non-zeros in the optimal solution At the heart of our method, and corresponding analysis, is a novel way to compute decomposition-invariant away-steps. While our theoretical guarantees do not apply to any polytope, they apply to several important structured polytopes that capture central concepts such as paths in graphs, perfect matchings in bipartite graphs, marginal distributions that arise in structured prediction tasks, and more. Our theoretical findings are complemented by empirical evidence that shows that our method delivers state-of-the-art performance.

연구 동기 및 목표

• 페트롭스 제약 조건에 대해 기존 조건부 기울기 방법의 높은 메모리 및 계산 오버헤드 문제를 해결하기 위해.
• 수렴 속도에서 차원에 의존하는 요소를 제거하고, 이를 최적 해의 비희소성에 의존하는 요소로 대체하기 위해.
• 각 반복 단계의 복잡도와 저장 요구 사항을 줄이면서도 선형 수렴를 유지하는 방법을 개발하기 위해.
• 그래프 경로, 매칭, 구조적 예측 등에서 발생하는 구조적 페트롭스로의 이론적 보장을 확장하기 위해.
• 관련 최적화 작업에서 최첨단 성능을 실증적으로 입증하기 위해.

제안 방법

• 현재 반복 해의 볼록 분해에 영향을 받지 않는 새로운 형태의 움직임 방식을 제안하여 안정적이고 효율적인 갱신을 가능하게 한다.
• 반복 해의 전체 볼록 분해를 명시적으로 저장하지 않음으로써 선형 메모리 프로파일을 유지한다.
• 목적 함수의 충분한 감소를 보장하면서도 수렴 보장을 유지하는 수정된 선 탐색 전략을 사용한다.
• 분석은 수렴 속도가 환경 차원이 아닌 최적 해의 비희소성에 따라 결정된다는 새로운 이론적 프레임워크에 기반한다.
• 희소성이 자연스럽게 존재하는 구조적 페트롭스, 예를 들어 마진 페트롭스 및 매칭 페트롭스에 특별히 맞춤형으로 설계되어 있다.
• 핵심 혁신은 각 반복 단계에서 전체 분해를 다시 계산하거나 저장하지 않아도 되도록 해주는 분해 불변 움직임 방식의 사용이다.

실험 결과

연구 질문

• RQ1 구조적 페트롭스에 대해 선형 메모리 및 계산 비용을 갖는 조건부 기울기 변종이 선형 수렴를 달성할 수 있는가?
• RQ2 수렴 속도를 환경 차원에 의존하지 않고 최적 해의 비희소성에 의존하도록 만들 수 있는가?
• RQ3 선택된 볼록 분해에 영향을 받지 않는 움직임 방식을 설계할 수 있는가? 이를 통해 안정성과 효율성이 향상되는가?
• RQ4 이론적 개선 사항이 실제 구조적 최적화 문제에서 실용적 성능 향상으로 이어지는가?
• RQ5 어떤 종류의 구조적 페트롭스가 이러한 분해 불변, 선형 수렴를 갖는 알고리즘을 허용하는가?

주요 결과

• 제안된 알고리즘은 문제 차원에 따라 선형적으로 증가하는 메모리 및 각 반복 단계의 비용을 갖는다. 이는 이전의 제곱 또는 더 악화된 비율과는 대조된다.
• 수렴 속도에서 차원에 선형적으로 영향을 받는 요소가 최적 해의 비제로 요소 수에만 의존하는 요소로 대체된다.
• 이 방법은 그래프 내 경로, 이분 그래프에서의 완벽 매칭, 구조적 예측에서의 마진 분포 등을 나타내는 중요한 구조적 페트롭스에 적용 가능하다.
• 실증 결과는 최첨단 성능을 입증하며, 이론적 이점이 실생활에서 실제로도 성립함을 확인한다.
• 최적 해가 희소한 경우에도 선형 수렴를 유지하며, 이러한 영역에서 기존 방법보다 뚜렷이 뛰어난 성능을 보인다.
• 이론적 분석은 비희소성이 본질적으로 존재하는 특정 종류의 구조적 페트롭스에 대해 유효하며, 일반적인 페트롭스를 초월하여 적용 가능하다.