[논문 리뷰] Convergence of block coordinate descent with diminishing radius for nonconvex optimization

Hanbaek Lyu|arXiv (Cornell University)|2020. 12. 07.

Tensor decomposition and applications참고 문헌 41인용 수 5

한 줄 요약

이 논문은 비볼록, 블록별로 볼록하고 미분 가능한 최적화 문제에 대해 정류점으로의 수렴을 보장하기 위해 감소하는 반경 제약을 갖는 블록 좌표 하강(BCD) 방법을 제안한다. 반경을 점차 줄여 해의 안정성을 향상시키기 위해 검색 영역을 제한함으로써, 이 방법은 최상의 경우 $ olimits\log n / \sqrt{n}$ 수렴 속도를 달성하며, 비음수 CP 텐서 분해에 대한 수정된 교대 최소 제곱 알고리즘에서 검증되었다.

ABSTRACT

Block coordinate descent (BCD), also known as nonlinear Gauss-Seidel, is a simple iterative algorithm for nonconvex optimization that sequentially minimizes the objective function in each block coordinate while the other coordinates are held fixed. We propose a version of BCD that is guaranteed to converge to the stationary points of block-wise convex and differentiable objective functions under constraints. Furthermore, we obtain a best-case rate of convergence of order $\log n/\sqrt{n}$, where $n$ denotes the number of iterations. A key idea is to restrict the parameter search within a diminishing radius to promote stability of iterates, and then to show that such auxiliary constraints vanish in the limit. As an application, we provide a modified alternating least squares algorithm for nonnegative CP tensor factorization that converges to the stationary points of the reconstruction error with the same bound on the best-case rate of convergence. We also experimentally validate our results with both synthetic and real-world data.

연구 동기 및 목표

• 비볼록 문제에 대해 표준 블록 좌표 하강법이 수렴 보장을 제공하지 못하는 문제를 해결하기 위해.
• 반경 제약을 통한 검색을 통해 비볼록 최적화에서 반복 해의 안정성을 향상시키기 위해.
• 유사한 가정 하에 블록 좌표 하강법의 증명 가능한 수렴 속도를 확립하기 위해.
• 비음수 CP 텐서 분해와 같은 실용적 응용 분야로 이 방법을 확장하기 위해.
• 최상의 경우에 대해 날카로운 이론적 수렴 경계를 제공하기 위해.

제안 방법

• 현재 반복 해를 중심으로 감소하는 반경 내에서 각 업데이트를 제한하는 블록 좌표 하강의 변종을 도입한다.
• 반경이 점차 줄어들면서 점차 사라지는 보조 제약 조건을 사용하여 최적화 중 반복 해의 안정성을 확보한다.
• 비볼록, 블록별로 볼록하고 미분 가능한 목표 함수에 대해 제약 조건 하에 방법을 적용한다.
• 반경을 점차 줄여 반복 해를 제어함으로써 정류점으로의 수렴을 이끌어낸다.
• 비음수 CP 텐서 분해에 대한 수정된 교대 최소 제곱 알고리즘으로 이 방법을 변형한다.
• 이론적 분석을 통해 최상의 경우 $ olimits\log n / \sqrt{n}$ 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 비볼록, 블록별로 볼록하고 미분 가능한 문제에서 반경 제약을 갖는 블록 좌표 하강법이 정류점으로 수렴할 수 있는가?
• RQ2 이러한 제약 조건이 있는 BCD 프레임워크 하에서 보장할 수 있는 수렴 속도는 무엇인가?
• RQ3 감소하는 반경 메커니즘이 안정성과 수렴에 어떻게 기여하는가?
• RQ4 이 방법은 비음수 CP 텐서 분해에 효과적으로 적용될 수 있는가?
• RQ5 보조 반경 제약 조건은 수렴에 영향을 주지 않고 점차적으로 사라지는가?

주요 결과

• 감소하는 반경을 갖는 제안된 BCD 방법은 비볼록, 블록별로 볼록하고 미분 가능한 목표 함수에 대해 정류점으로 수렴한다.
• 최상의 경우 수렴 속도는 $\log n / \sqrt{n}$로 확립되었으며, 여기서 $n$은 반복 횟수이다.
• 반경 제약 조건은 최적화 중 반복 해의 안정성을 향상시키며 점차적으로 사라져 극한에서 편향이 발생하지 않는다.
• 이 방법은 비음수 CP 텐서 분해에 성공적으로 적용되어 재구성 오차의 정류점으로의 수렴을 보장한다.
• 합성 및 실세계 데이터에 대한 실험 결과는 이론적 수렴과 속도 경계를 검증한다.
• 이론적 프레임워크는 비볼록 환경에서 안정적이고 수렴 가능한 BCD의 기초를 제공하며 실용적 함의를 지닌다.