[논문 리뷰] Exploiting Strong Convexity from Data with Primal-Dual First-Order Algorithms

Jialei Wang, Lin Xiao|arXiv (Cornell University)|2017. 03. 07.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 10

한 줄 요약

이 논문은 선형 예측자에서 데이터에 내재된 강凸성(strong convexity)을 활용하는 적응형 원시-이중(first-order) 알고리즘을 제안한다. 이는 명시적 정규화를 요구하지 않는다. 데이터 구조에 기반해 단계 크기를 동적으로 조정함으로써, 명시적 정규화가 없어도 선형 수렴을 달성하며, 반복 복잡도는 데이터에 의존하는 강凸성 매개변수(예: 데이터 행렬의 최소 특이값)에 따라 결정된다.

ABSTRACT

We consider empirical risk minimization of linear predictors with convex loss functions. Such problems can be reformulated as convex-concave saddle point problems, and thus are well suitable for primal-dual first-order algorithms. However, primal-dual algorithms often require explicit strongly convex regularization in order to obtain fast linear convergence, and the required dual proximal mapping may not admit closed-form or efficient solution. In this paper, we develop both batch and randomized primal-dual algorithms that can exploit strong convexity from data adaptively and are capable of achieving linear convergence even without regularization. We also present dual-free variants of the adaptive primal-dual algorithms that do not require computing the dual proximal mapping, which are especially suitable for logistic regression.

연구 동기 및 목표

• 선형 수렴을 달성하기 위해 명시적 정규화가 필요한 원시-이중 알고리즘의 한계를 해결한다.
• 목적 함수를 수정하지 않고도 데이터에서 유도된 강凸성(예: 데이터 행렬의 최소 특이값을 통한)을 활용해 수렴 속도를 가속화한다.
• 배치(batch) 및 무작위(randomized) 원시-이중 알고리즘을 개발하여 데이터 구조를 적응적으로 활용해 더 빠른 수렴을 이룬다.
• 이중(proximal) 매핑을 계산하는 데 소요되는 계산 비용을 피하기 위해 이중-free 변형을 도입하며, 특히 로지스틱 회귀에 유리하다.
• 사용자 정의 정규화가 아닌 데이터에 의존하는 강凸성 매개변수에 따라 선형 수렴 속도를 달성한다.

제안 방법

• 라그랑주 이중형식을 사용해 경험적 위험 최소화 문제를 볼록-볼록형 안장점 문제로 재구성한다.
• 단계 크기를 데이터에 의존하는 강凸성 매개변수(예: δ 및 μ)에 기반해 조정하는 적응형 원시-이중 알고리즘을 설계한다.
• 데이터 행렬 A의 최소 특이값 μ를 반영하기 위해 매개변수 갱신 규칙을 도입한다.
• 수정된 갱신 전략을 통해 이중 프록시멀 매핑이 필요 없도록 함으로써 이중-free 변형을 개발한다.
• 데이터 유도 강凸성 하에서 선형 수렴을 증명하기 위해 철저히 선택된 매개변수(τ, σ, α)를 사용한 리아푸노프 함수 분석을 사용한다.
• 표준 R²/(γλ)가 아닌, 효과적인 조건수 R²/(γ(λ + δμ²/n))에 따라 수렴 속도를 확립함으로써, 비적응형 방법보다 향상된 성능을 달성한다.

실험 결과

연구 질문

• RQ1 데이터에서 기인하는 강凸성(예: 데이터 행렬의 최소 특이값)을 활용함으로써, 명시적 정규화 없이도 원시-이중 1차 알고리즘이 선형 수렴을 달성할 수 있는가?
• RQ2 데이터 행렬의 최소 특이값 μ를 어떻게 활용하여 알고리즘 매개변수를 적응적으로 설정해 더 빠른 수렴을 이룰 수 있는가?
• RQ3 정규화가 아닌 데이터에서 기인하는 강凸성이 존재할 경우 원시-이중 알고리즘의 수렴 속도는 어떻게 되는가?
• RQ4 이중 프록시멀 매핑을 피하면서도 선형 수렴을 유지할 수 있는 이중-free 변형을 설계할 수 있는가?
• RQ5 명시적 정규화 없이 데이터 유도 강凸성을 활용할 경우 조건수는 어느 정도 향상될 수 있는가?

주요 결과

• 제안된 적응형 원시-이중 알고리즘은 데이터 행렬이 강凸성을 보일 경우(즉, μ > 0) 명시적 정규화 없이도 선형 수렴을 달성한다.
• 반복 복잡도는 O((n + √n R / √(γ(λ + δμ²/n))) log(1/ε))이며, 이는 데이터에 의존하는 강凸성 요소를 통합함으로써 기존 표준 방법보다 향상된다.
• 이중-free 변형은 이중 프록시멀 매핑 계산을 회피하므로, 이러한 매핑이 비가역적인 로지스틱 회귀에 특히 효율적이다.
• 수렴 속도는 효과적인 조건수 R²/(γ(λ + δμ²/n))에 따라 결정되며, μ가 클 경우 R²/(γλ)보다 크게 작아질 수 있다.
• 데이터 유도 강凸성을 반영하도록 조정된 매개변수를 사용한 리아푸노프 함수 분석을 통해 알고리즘의 수렴이 증명되었으며, 약한 가정 하에서도 선형 수렴이 보장된다.
• 수치적 결과(이론적 분석에 암시됨)는 데이터가 강凸성을 보일 경우, 명시적 정규화 없이도 표준 원시-이중 및 원시 방법보다 성능이 뛰어나다는 것을 보여준다.