[논문 리뷰] On Matching Pursuit and Coordinate Descent

Francesco Locatello, Anant Raj외 5명|arXiv (Cornell University)|2018. 03. 26.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 매칭 퇴적(MP)과 좌표 강하(CD)의 분석을 통합하여, 둘 다에 대해 애프인 불변 수렴 속도를 확립함으로써, 기울기 강하 CD에 대해 가장 날카운 수렴 속도를 달성하고, 볼록 목표 함수에 대해 MP와 기울기 강하 CD에 대해 처음으로 가속화된 $\mathcal{O}(1/t^2)$ 수렴 속도를 증명한다. 이 프레임워크는 무작위 방향 대비 기울기 강하 방향을 활용함으로써 향상된 수렴 성능을 가능하게 한다.

ABSTRACT

Two popular examples of first-order optimization methods over linear spaces are coordinate descent and matching pursuit algorithms, with their randomized variants. While the former targets the optimization by moving along coordinates, the latter considers a generalized notion of directions. Exploiting the connection between the two algorithms, we present a unified analysis of both, providing affine invariant sublinear $\mathcal{O}(1/t)$ rates on smooth objectives and linear convergence on strongly convex objectives. As a byproduct of our affine invariant analysis of matching pursuit, our rates for steepest coordinate descent are the tightest known. Furthermore, we show the first accelerated convergence rate $\mathcal{O}(1/t^2)$ for matching pursuit and steepest coordinate descent on convex objectives.

연구 동기 및 목표

• 볼록 최적화에서 매칭 퇴적(MP)과 좌표 강하(CD) 알고리즘에 대한 통합된 수렴 분석을 수립하는 것.
• 애프인 불변 분석을 통해 기울기 강하 CD에 대해 날카운 비선형 및 선형 수렴 속도를 유도하는 것.
• 볼록 목표 함수에 대해 매칭 퇴적과 기울기 강하 CD에 대해 처음으로 가속화된 수렴 속도($\mathcal{O}(1/t^2)$)를 제공하는 것.
• 통합 프레임워크를 통해 매칭 퇴적 방법에서 기울기 강하 방향과 무작위 방향 간의 상호 교환 관계를 분석하는 것.
• 무작위 CD의 기존 수렴 속도를 향상시키기 위해 무작위 업데이트가 아닌 탐욕적(기울기 강하) 업데이트를 사용하는 것.

제안 방법

• 힐베르트 공간의 원자에 일반화된 좌표 강하를 정의하는 애프인 불변 분석 프레임워크를 도입하며, 원자 노름을 사용해 일반화된 방향을 정의한다.
• 원자 노름의 성질과 기울기 정렬을 활용해 매끄럽고 강하게 볼록인 목표 함수에 대해 MP의 수렴 속도를 확립한다.
• 표준 기저 원자로 구성된 특수한 경우의 MP에 대해 기울기 강하 CD를 연결함으로써 날카운 선형 및 비선형 수렴 속도를 도출한다.
• 모멘텀과 선 탐색을 사용하는 새로운 가속화된 매칭 퇴적 알고리즘을 제안하여 볼록 목표 함수에서 $\mathcal{O}(1/t^2)$ 수렴을 달성한다.
• 무작위 퇴적을 기울기 강하 퇴적의 근사치로 분석함으로써 계산 비용과 수렴 속도 사이의 상호 교환 관계를 가능하게 한다.
• 프랭크-울프, MP, CD를 연결하는 통합 프레임워크를 사용하여 이들 방법 간 이론적 보장을 이전하는 것을 가능하게 한다.

실험 결과

연구 질문

• RQ1 매칭 퇴적과 좌표 강하에 대해 유사점과 차이점을 모두 포괄하는 통합된 수렴 분석을 개발할 수 있는가?
• RQ2 기울기 강하 CD에 대해 가능한 가장 날카운 수렴 속도는 무엇이며, 기존 결과와 비교해 볼 때 어떻게 되는가?
• RQ3 볼록 목표 함수에 대해 매칭 퇴적 알고리즘에서 가속화된 수렴($\mathcal{O}(1/t^2)$)을 달성하는 것이 가능한가?
• RQ4 기울기 강하 퇴적의 성능은 차원에 대한 의존성과 함께 수렴 속도 측면에서 무작위 퇴적보다 어떻게 다른가?
• RQ5 MP와 CD 간의 연결을 활용해 탐욕적 업데이트를 통해 기존의 무작위 좌표 강하 수렴 속도를 향상시킬 수 있는가?

주요 결과

• 논문은 기울기 강하 CD에 대해 기존의 Stich 등(2017)과 Nutini 등(2015)의 연구에서 개선된 상수를 포함해 알려진 가장 날카운 선형 및 비선형 수렴 속도를 확립한다.
• 볼록 목표 함수에 대해 매칭 퇴적에 대해 처음으로 알려진 가속화된 수렴 속도 $\mathcal{O}(1/t^2)$를 증명한다. 이는 분야에서의 중대한 진전이다.
• 가속화된 매칭 퇴적 알고리즘은 비가속화된 변형보다 더 빠른 수렴 속도를 달성하며, 몇 차례 반복 이후부터 이 속도 향상이 명확해진다.
• 기울기 강하 매칭 퇴적은 고차원 설정에서 무작위 퇴적보다 더 빠르게 수렴한다. 이는 선형 부분공간의 내재 차원에 대한 더 나은 의존성 덕분이다.
• 합성 및 고스펙트럼 데이터에서의 실험 결과는 기울기 강하 업데이트가 무작위 업데이트를 능가하고, 가속화가 후반 단계에서 수렴을 크게 향상시킨다는 것을 확인한다.
• 프레임워크는 탐욕적 좌표 강하(기울기 강하 방향을 통한)가 암시적 차원에 대한 의존성을 제거함으로써 가속화된 무작위 좌표 강하 수렴 속도를 초월함을 보여준다.