[논문 리뷰] Efficiency of Coordinate Descent Methods For Structured Nonconvex Optimization

Qi Deng, Chenghao Lan|arXiv (Cornell University)|2019. 09. 03.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 부드럽고, 볼록이며, 오목인 항을 조합한 비볼록 목적함수를 가진 구조적 비볼록 최적화 문제를 위한 새로운 좌표강하(CD) 방법을 제안한다. 무작위 선택된 좌표 하향법, 무작위 순열 CD, 가속화된 CD 기반 프록시멀 DC, 그리고 프록시멀 포인트 방법을 도입하였으며, 모든 방법이 임계점으로의 점진적 수렴과 하향 수렴 속도를 보이며, 기울기 방법에 비해 불량조건 문제에서 뛰어난 복잡도를 달성한다.

ABSTRACT

Novel coordinate descent (CD) methods are proposed for minimizing nonconvex functions consisting of three terms: (i) a continuously differentiable term, (ii) a simple convex term, and (iii) a concave and continuous term. First, by extending randomized CD to nonsmooth nonconvex settings, we develop a coordinate subgradient method that randomly updates block-coordinate variables by using block composite subgradient mapping. This method converges asymptotically to critical points with proven sublinear convergence rate for certain optimality measures. Second, we develop a randomly permuted CD method with two alternating steps: linearizing the concave part and cycling through variables. We prove asymptotic convergence to critical points and sublinear complexity rate for objectives with both smooth and concave parts. Third, we extend accelerated coordinate descent (ACD) to nonsmooth and nonconvex optimization to develop a novel randomized proximal DC algorithm whereby we solve the subproblem inexactly by ACD. Convergence is guaranteed with at most a few number of ACD iterations for each DC subproblem, and convergence complexity is established for identification of some approximate critical points. Fourth, we further develop the third method to minimize certain ill-conditioned nonconvex functions: weakly convex functions with high Lipschitz constant to negative curvature ratios. We show that, under specific criteria, the ACD-based randomized method has superior complexity compared to conventional gradient methods. Finally, an empirical study on sparsity-inducing learning models demonstrates that CD methods are superior to gradient-based methods for certain large-scale problems.

연구 동기 및 목표

• 부드럽고, 볼록이며, 오목인 항을 포함한 비볼록 목적함수를 가진 대규모 구조적 비볼록 최적화 문제를 위한 효율적인 좌표강하 방법을 개발하는 것.
• 무작위 선택 및 가속화된 CD 방법을 부드럽지 않고 비볼록 설정으로 확장하여 수렴 보장을 제공하는 것.
• 프록시멀 DC 프레임워크 내에서 하위문제를 근사적으로 해결하기 위해 가속화된 CD를 사용하여 반복 복잡도와 실행 시간을 향상시키는 것.
• 높은 리프시츠 상수 대 음의 곡률 비율을 가진 불량조건 문제에서 복잡도 이점을 확립하는 것.
• 대규모 희소 학습 모델에서 CD 방법이 기울기 기반 접근법보다 뛰어난 성능을 보임을 경험적으로 검증하는 것.

제안 방법

• 복합 하향법 맵핑을 사용하여 블록 좌표를 갱신하는 무작위 선택 좌표 하향법(RCSD)을 제안하며, 임계점으로의 수렴과 일반화된 최적성 측도에 대해 하향 수렴 속도를 보장한다.
• 오목 항을 선형화하고 블록 갱신을 순환하는 무작위 순열 CD(RPCD) 방법을 도입하여, 특정 조건 하에서 점진적 수렴과 하향 수렴 속도를 보장한다.
• 차분-볼록(DC) 프레임워크 내에서 가속화된 CD를 하위문제 해결에 적용하여 가속화된 프록시멀 DC(ACPDC) 알고리즘을 개발하며, 각 하위문제에 대해 몇 번의 ACD 반복만으로도 충분하다.
• 약한 볼록 함수에 대해 ACD 기반 프록시멀 포인트 방법(ACPP)을 제안하여, 리프시츠 상수 대 음의 곡률 비율이 높을수록 더 빠른 수렴 속도를 달성한다.
• 강한 볼록성과 노름 기반 부등식을 활용하여 수렴 한계를 유도하며, 목적함수의 기대 감소와 재귀적 오차 감쇠를 활용한다.
• 비균일 샘플링을 사용한 무작위 좌표 선택을 적용하고, 리아푸노프 함수 분석 및 단계 크기와 곡률 파rameter를 포함한 재귀 부등식을 통해 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 무작위 선택 좌표강하는 부드럽지 않고 비볼록 문제, 특히 오목 항을 포함한 복합 구조로 확장될 수 있는가?
• RQ2 오목 항을 선형화한 무작위 순열 CD 방법이 비볼록 문제에서 하향 수렴 속도를 달성할 수 있는가?
• RQ3 가속화된 좌표강하는 비볼록 최적화의 DC 알고리즘 프레임워크 내에서 하위문제를 근사적으로 해결하는 데 효과적으로 적용될 수 있는가?
• RQ4 ACD 기반 방법이 불량조건 비볼록 문제에서 표준 기울기 방법보다 더 낮은 복잡도를 달성할 수 있는가?
• RQ5 제안된 CD 방법은 대규모 희소 학습 응용 분야에서 기울기 기반 방법을 능가할 수 있는가?

주요 결과

• 무작위 선택 좌표 하향법(RCSD)은 비부드럽고 비볼록 설정에서 임계점으로 점차 수렴하며, 일반화된 최적성 측도에 대해 하향 수렴 속도를 달성한다.
• 무작위 순열 CD(RPCD) 방법은 볼록 정규화 항이 0일 경우, 임계점으로의 점진적 수렴과 하향 수렴 속도(하향법 노름 기준)를 보장한다.
• ACPDC 알고리즘은 각 하위문제에 대해 몇 번의 가속화된 CD 반복만으로도 수렴 보장을 확보하며, 정확한 DC 및 프록시멀 DC 방법에 비해 효율성 면에서 뚜렷한 향상을 이룬다.
• 높은 리프시츠 상수 대 음의 곡률 비율을 가진 약한 볼록 함수의 경우, ACPP 방법은 고전적 CD 방법보다 더 낮은 복잡도를 달성하며, 복잡도 한계는 O(√μ₀ + ∑√Li / √μ₀) log(1/ε)로 제시된다.
• 경험적 결과는 대규모 희소 유도 학습 모델에서 CD 방법이 기울기 기반 방법보다 뛰어난 성능을 보이며, 더 뛰어난 확장성과 수렴 속도를 입증한다.
• 이론적 분석을 통해 기대 목적함수 갭이 (1 - √μ₀ / (√μ₀ + T₁/₂))ᵏ의 속도로 지수적으로 감소하며, ε 정확도를 확보하기 위한 반복 복잡도는 O(log(1/ε))임을 입증한다.