[논문 리뷰] Coordinate Descent with Arbitrary Sampling II: Expected Separable Overapproximation

Zheng Qu, Peter Richtárik|arXiv (Cornell University)|2014. 12. 27.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 16

한 줄 요약

이 논문은 랜덤화된 좌표 강하 방법에서 임의의 샘플링에 대해 기대 분리 가능한 근사식(Expected Separable Overapproximation, ESO) 부등식을 유도하기 위한 일반적인 프레임워크를 개발한다. 샘플링 확률 행렬과 데이터에 의존하는 행렬 간 히르미트 곱의 고유값을 분석하여, 다양한 함수 클래스에 대한 ESO 경계를 수립함으로써 순차적 및 병렬 설정 모두에서 향상된 수렴 복잡도 분석과 최적의 샘플링 설계를 가능하게 한다.

ABSTRACT

The design and complexity analysis of randomized coordinate descent methods, and in particular of variants which update a random subset (sampling) of coordinates in each iteration, depends on the notion of expected separable overapproximation (ESO). This refers to an inequality involving the objective function and the sampling, capturing in a compact way certain smoothness properties of the function in a random subspace spanned by the sampled coordinates. ESO inequalities were previously established for special classes of samplings only, almost invariably for uniform samplings. In this paper we develop a systematic technique for deriving these inequalities for a large class of functions and for arbitrary samplings. We demonstrate that one can recover existing ESO results using our general approach, which is based on the study of eigenvalues associated with samplings and the data describing the function.

연구 동기 및 목표

• 균일하거나 i.i.i.d. 경우에 국한되지 않은 임의의 샘플링에 대해 기대 분리 가능한 근사식(Expected Separable Overapproximation, ESO) 부등식을 체계적으로 유도하는 데 목적이 있다.
• 샘플링 및 데이터 행렬의 고유값 분석을 기반으로 한 공통 프레임워크를 제공하여 기존 문헌의 ESO 결과를 통합하고 일반화하는 데 목적이 있다.
• 문제의 구조에 맞게 최적의 샘플링 확률을 유도하여 랜덤화된 좌표 강하 방법의 수렴 복잡도 경계를 더욱 날카롭게 하는 데 목적이 있다.
• 일반적인 샘플링 체계 하에서 수렴 보장이 보장된 가속화되고 병렬적인 좌표 강하 방법의 설계를 지원하는 데 목적이 있다.
• dorothea 및 w8a와 같은 실제 데이터셋에서의 복잡도 비교를 통해 향상된 ESO 파라미터의 실용적 영향을 보여주는 데 목적이 있다.

제안 방법

• 이 방법은 샘플링 확률 행렬 $ P $ 와 데이터에 의존하는 양의 준정적 행렬 $ A^\top A $ 간의 히르미트 곱의 최대 고유값 및 정규화된 최대 고유값을 분석하는 데 기반한다. 여기서 $ A $ 는 함수의 구조를 표현한다.
• 이차 함수 $ f(x) = \|Ax\|^2 $ 의 경우, ESO 부등식은 고유값 문제로 축소된다: $ \mathbb{E}[\|\sum_{i\in\hat{S}} A_i h_i\|^2] \leq h^\top \operatorname{Diag}(p \circ v) h $, 여기서 $ v $ 는 $ P \circ A^\top A $ 의 스펙트럴 성질에서 유도된다.
• 저자들은 $ P \circ A^\top A $ 의 스펙트럴 노름을 사용하여 일반적인 ESO 경계를 도출하며, $ v_i $ 의 명시적 공식을 도출한다. 예를 들어, 균일 샘플링의 경우 $ v_i = \max_i \|A_i\|^2 \cdot \frac{\tau}{n} $ 와 같고, 비균일 샘플링의 경우 더 정교한 표현이 적용된다.
• 핵심 기법은 ESO 파라미터 $ v $ 를 $ P \circ A^\top A $ 의 최대 고유값으로 표현하여 $ \|d\|_q $ 노름으로 표현된 복잡도 경계를 도출하는 데 있다.
• 이 프레임워크를 통해 수렴 복잡도 경계의 조건수를 최소화하는 최적의 샘플링 확률 $ p_i $ 를 도출할 수 있으며, 이는 순차적 방법에서 $ p_i \propto (w_i (x_i^0 - x_i^*)^2)^{1/3} $ 와 같이 유도된다.
• 좌표를 블록으로 대체하고 노름 및 행렬 구조를 적절히 조정함으로써 이 방법은 블록 좌표 강하로 확장된다.

실험 결과

연구 질문

• RQ1 균일하거나 i.i.d. 경우를 초월한 임의의 샘플링에 대해 ESO 부등식을 체계적으로 유도할 수 있는가?
• RQ2 샘플링-확률 행렬과 데이터 행렬의 스펙트럴 성질이 ESO 파라미터 $ v $ 를 결정하는 데 어떤 역할을 하는가?
• RQ3 수렴 복잡도를 최소화하기 위해 최적의 샘플링 확률을 어떻게 도출할 수 있는가?
• RQ4 기존의 균일 샘플링에 대한 ESO 결과들이 이 일반적인 고유값 기반 프레임워크를 통해 재유도될 수 있는가?
• RQ5 정교한 $ v $ 를 계산하는 데 드는 계산 비용과 그로 인한 수렴 복잡도 감소 사이의 상충 관계는 어떠한가?

주요 결과

• 논문은 샘플링의 확률 행렬 $ P $ 와 $ A^\top A $ 의 히르미트 곱의 최대 고유값을 분석하여 임의의 샘플링에 대해 ESO 부등식을 체계적으로 유도할 수 있는 일반적인 방법을 수립한다.
• dorothea 데이터셋에서 $ \tau = 256 $ 인 경우, 공식 60을 사용하여 $ v $ 를 계산하면 반복 복잡도가 $ O(256.91 + \frac{256.91}{\lambda} \log(\frac{1}{\epsilon})) $ 로 감소하지만, 공식 58를 사용할 경우 $ O(8715.8 + \frac{16.68}{\lambda} \log(\frac{1}{\epsilon})) $ 로 나타나 상당한 향상이 이루어진다.
• 최적의 순차적 샘플링 확률 $ p_i \propto (w_i (x_i^0 - x_i^*)^2)^{1/3} $ 는 복잡도 경계 $ C_{\text{opt}} = \sqrt{2} \|d\|_2^3 / \sqrt{\epsilon} $ 를 유도하며, $ \|d\|_6 = \|d\|_2 $ 일 경우 균일 샘플링 대비 최대 $ n $ 배 향상된 성능을 낼 수 있다.
• w8a 데이터셋에서 공식 60을 사용하여 $ v $ 를 계산하는 데 걸리는 시간은 한 번의 데이터 패assing 시간의 1.8배에 불과하지만, 공식 57 대비 조건수를 약 380배 감소시킨다.
• 이 프레임워크는 다른 고유값 기반 유도 방법을 사용하여 기존의 균일 샘플링에 대한 알려진 ESO 결과를 재현함으로써 그 일반성과 통합 능력을 입증한다.
• 이 방법은 데이터에 민감한 비균일 샘플링 전략을 사용함으로써 수렴 속도가 보장되는 가속화된 좌표 강하 방법의 설계를 가능하게 한다.