[논문 리뷰] Randomized Bregman Coordinate Descent Methods for Non-Lipschitz Optimization

Tianxiang Gao, Songtao Lu외 2명|arXiv (Cornell University)|2020. 01. 15.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 9

한 줄 요약

이 논문은 비리프시츠 복합 최적화를 위한 랜덤화 Bregman 좌표 하강(RBCD) 방법을 제안한다. 기존의 전역 리프시츠 연속성 기반의 기울기 가정을 Bregman 거리 기반 상대적 미끄럼 조건으로 대체한다. 비볼록 문제의 경우 반복 복잡도가 𝒪(nε⁻²)이고 볼록 문제의 경우 𝒪(nε⁻¹)로 수렴하며, 새로운 모멘타움 기반 가속화 기법을 통해 볼록 문제에서 𝒪(nε⁻¹/γ)의 가속화된 복잡도를 달성한다.

ABSTRACT

We propose a new extit{randomized Bregman (block) coordinate descent} (RBCD) method for minimizing a composite problem, where the objective function could be either convex or nonconvex, and the smooth part are freed from the global Lipschitz-continuous (partial) gradient assumption. Under the notion of relative smoothness based on the Bregman distance, we prove that every limit point of the generated sequence is a stationary point. Further, we show that the iteration complexity of the proposed method is $O(n\varepsilon^{-2})$ to achieve $ε$-stationary point, where $n$ is the number of blocks of coordinates. If the objective is assumed to be convex, the iteration complexity is improved to $O(nε^{-1} )$. If, in addition, the objective is strongly convex (relative to the reference function), the global linear convergence rate is recovered. We also present the accelerated version of the RBCD method, which attains an $O(n\varepsilon^{-1/γ} )$ iteration complexity for the convex case, where the scalar $γ\in [1,2]$ is determined by the extit{generalized translation variant} of the Bregman distance. Convergence analysis without assuming the global Lipschitz-continuous (partial) gradient sets our results apart from the existing works in the composite problems.

연구 동기 및 목표

• 행렬/텐서 복원 및 포아송 모델 등 많은 실용적 문제에서 요구되는 전역 리프시츠 연속 기울기 조건이 과도하게 제한적인 점을 해결하기 위해 기존 좌표 하강 방법의 한계를 다루기.
• 볼록 및 비볼록 복합 문제에 대해 랜덤화 블록 좌표 하강에 Bregman 거리 프레임워크를 확장하기.
• 기울기의 전역 리프시츠 연속성 조건을 가정하지 않고 상대적 미끄럼 조건을 활용하여 수렴 보장을 수립하기.
• γ ∈ [1,2]로 매개변수화된 새로운 모멘타움 기반 기법을 도입하여 볼록 문제의 반복 복잡도를 향상시킨 가속화된 RBCD 버전 개발하기.

제안 방법

• 하나의 블록 변수만을 업데이트하는 랜덤화 Bregman(블록) 좌표 하강(RBCD) 방법을 제안하며, 랜덤 선택 규칙을 사용한다.
• 표준 기울기 기반 하강을 Bregman 거리 기반 프록시멀 업데이트로 대체하여, 전역 리프시츠 연속성 대신 상대적 미끄럼 조건 하에서 수렴 가능하게 한다.
• 보조 변수 yᵏ, xᵏ, zᵏ를 포함하는 세 점의 재귀적 업데이트 형태로 모멘타움 기반 가속화 기법을 도입하며, 모멘타움을 제어하는 파라미터 βₖ를 사용한다.
• 백트래킹 또는 정확한 선 탐색을 피하기 위해 Bregman 거리를 내림표 측정에 활용하는 선 탐색이 없는 전략을 채택한다. 이는 계산 비용을 증가시키는 것을 방지한다.
• 목적 함수 값과 Bregman 거리 항을 조합한 리아푸노프 함수를 도출하여 상대적 미끄럼 조건 하에서 단조 감소를 증명함으로써 수렴 속도를 유도한다.
• 가속화된 경우에 더 날카운 복잡도 한계를 확보하기 위해 Bregman 거리의 일반화된 이동 변형을 정의하여 상대적 미끄럼 조건을 정의한다.

실험 결과

연구 질문

• RQ1 전역 리프시츠 연속 기울기 조건을 가정하지 않고도 랜덤화 Bregman 좌표 하강이 정류점으로 수렴할 수 있는가?
• RQ2 상대적 미끄럼 조건 하에서 비볼록 및 볼록 복합 문제에 대해 RBCD의 반복 복잡도는 얼마인가?
• RQ3 볼록 문제의 경우 표준 𝒪(nε⁻¹) 수렴 속도를 초월하는 가속화된 RBCD 버전을 설계할 수 있는가?
• RQ4 Bregman 거리의 일반화된 이동 변형이 가속화된 RBCD 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 기울기가 전역적으로 리프시츠 연속이 아닌 실용적 문제들, 예를 들어 행렬 분해 및 텐서 분해에 대해 제안된 방법을 적용할 수 있는가?

주요 결과

• 전역 리프시츠 연속 기울기 조건 없이도 RBCD 반복의 모든 극한점은 정류점이다.
• 비볼록 케이스에서 ε-정류점에 도달하기 위한 반복 복잡도는 𝒪(nε⁻²)이며, 리프시츠 조건 하에서 알려진 최고 수준의 비율과 일치한다.
• 볼록 문제의 경우 반복 복잡도가 𝒪(nε⁻¹)로 향상되어 표준 가정 하에서 알려진 랜덤화 CD의 최고 수준 비율과 일치한다.
• 기준 함수에 대해 상대 강볼록성 조건이 만족될 경우, 전역 선형 수렴을 달성하며 이 경우 최고 수준의 수렴 속도를 회복한다.
• 가속화된 RBCD 버전은 볼록 문제에서 반복 복잡도 𝒪(nε⁻¹/γ)를 달성하며, 여기서 γ ∈ [1,2]는 Bregman 거리의 일반화된 이동 변형에 의해 결정된다.
• 수렴 분석은 볼록 및 비볼록 목표 함수 모두에 대해 유효하며, 블록 분리 가능한 구조를 통해 비미분 가능 정규화 항이 포함된 문제에 적용 가능하다.