[論文レビュー] Convergence of block coordinate descent with diminishing radius for nonconvex optimization

Hanbaek Lyu|arXiv (Cornell University)|Dec 7, 2020

Tensor decomposition and applications参考文献 41被引用数 5

ひとこと要約

本稿では、非凸でブロックごとに凸的かつ微分可能な最適化問題に対して、停留点への収束を保証するため、減少する半径制約を用いたブロック座標降下（BCD）法を提案する。反復点の安定性を向上させるために、収縮する半径内での探索を制限することで、最良ケースの収束速度 $ olimits\log n / \sqrt{n}$ を達成し、非負のCPテンソル因子分解のための修正された交互最小二乗法で検証された。

ABSTRACT

Block coordinate descent (BCD), also known as nonlinear Gauss-Seidel, is a simple iterative algorithm for nonconvex optimization that sequentially minimizes the objective function in each block coordinate while the other coordinates are held fixed. We propose a version of BCD that is guaranteed to converge to the stationary points of block-wise convex and differentiable objective functions under constraints. Furthermore, we obtain a best-case rate of convergence of order $\log n/\sqrt{n}$, where $n$ denotes the number of iterations. A key idea is to restrict the parameter search within a diminishing radius to promote stability of iterates, and then to show that such auxiliary constraints vanish in the limit. As an application, we provide a modified alternating least squares algorithm for nonnegative CP tensor factorization that converges to the stationary points of the reconstruction error with the same bound on the best-case rate of convergence. We also experimentally validate our results with both synthetic and real-world data.

研究の動機と目的

• 非凸問題における標準的なブロック座標降下法に収束保証が欠けているという問題に対処すること。
• 半径制約付き探索によって、非凸最適化における反復点の安定性を向上させること。
• やや弱い仮定の下でブロック座標降下の収束速度を明示的に確立すること。
• 非負のCPテンソル因子分解のような実用的応用にこの手法を拡張すること。
• 最良ケースにおいてタイトな理論的収束バウンダリーを提供すること。

提案手法

• 現在の反復点の周囲の減少する半径内に制限して更新を行うBCDの変種を導入する。
• 反復点の安定化のための補助的制約を用い、半径が収縮するに従ってその制約が消失するように設計する。
• 非凸的でブロックごとに凸的かつ微分可能な目的関数に対して、制約下で手法を適用する。
• 減少する半径を用いることで反復点の制御を可能とし、停留点への収束を導出する。
• 非負のCPテンソル因子分解のための修正された交互最小二乗法にこの手法を適応する。
• 理論的分析を通じて、最良ケースの収束速度が $\log n / \sqrt{n}$ であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 非凸的でブロックごとに凸的かつ微分可能な問題において、半径制約付きBCDは停留点に収束するか？
• RQ2 このような制約付きBCDフレームワーク下で、保証可能な収束速度は何か？
• RQ3 減少する半径メカニズムは、安定性と収束性をどのように向上させるか？
• RQ4 この手法は非負のCPテンソル因子分解に効果的に適用可能か？
• RQ5 補助的半径制約は極限において消失するが、収束に影響を与えないか？

主な発見

• 減少する半径付きで提案されたBCD法は、非凸的でブロックごとに凸的かつ微分可能な目的関数に対して、停留点に収束することが保証された。
• 最良ケースの収束速度は $\log n / \sqrt{n}$ と確立され、ここで $n$ は反復回数を表す。
• 半径制約は最適化中の反復点の安定化に寄与し、漸近的に消失することで、極限においてバイアスが生じない。
• この手法は非負のCPテンソル因子分解に効果的に適用され、再構成誤差の停留点への収束が保証された。
• 合成データおよび実世界データを用いた実験結果が、理論的収束および速度バウンダリーの妥当性を検証した。
• 理論的枠組みは、非凸設定下での安定的かつ収束性のあるBCDの基盤を提供し、実用的意義を持つ。