[論文レビュー] Preconditioned Proximal Gradient Methods with Conjugate Momentum: A Subspace Perspective

Jian Chen, Xinmin Yang|arXiv (Cornell University)|Mar 17, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は、線形演算子を含む複合最適化問題を解くために、部分空間近接ニュートンフレームワークと共役モーメントを備えた前条件付き近接勾配法を開発し、全局収束と強凸性下の線形収束を達成する。

ABSTRACT

In this paper, we propose a descent method for composite optimization problems with linear operators. Specifically, we first design a structure-exploiting preconditioner tailored to the linear operator so that the resulting preconditioned proximal subproblem admits a closed-form solution through its dual formulation. However, such a structure-driven preconditioner may be poorly aligned with the local curvature of the smooth component, which can lead to slow practical convergence. To address this issue, we develop a subspace proximal Newton framework that incorporates curvature information within a low-dimensional subspace. At each iteration, the search direction is obtained by minimizing a proximal Newton model restricted to a two-dimensional subspace spanned by the current preconditioned proximal gradient direction and a momentum direction derived from the previous iterate. By orthogonalizing the subspace basis with respect to the local Hessian-induced metric, the resulting two-dimensional nonsmooth subproblem can be efficiently approximated by solving two one-dimensional optimization problems. This orthogonalization plays a crucial role: it allows a single pass of alternating one-dimensional updates to provide a good approximation to the original coupled two-dimensional subproblem while keeping the per-iteration computational cost low. We establish global convergence of the proposed method and prove a $Q$-linear convergence rate under strong convexity. Comparative numerical experiments demonstrate the effectiveness of the proposed algorithm, particularly on high-dimensional and ill-conditioned problems.

研究の動機と目的

• ノンスムース項に線形演算子を含む複合最適化問題を動機づけ、対処する。
• 近接サブ問題をデュアル側で単純化するための構造を活かした前条件化子を導入する。
• 曲率処理を改善するため、低次元の部分空間近接ニュートンモデルを組み込む。
• 収束を高めるため、共役モーメントを用いた部分空間加速スキームを開発する。
• グローバル収束とQ線形収束を確立し、高次元問題での有効性を示す。

提案手法

• 前条件子Pを用いた前条件付き近接勾配サブ問題を定式化し、そのデュアルを解析する。AP^{-1}A^{T}=Iとなる場合にデュアル更新を閉形式で得られることを目指す。
• 問題構造に合わせてAのSVDに基づくPを構築し、デュアル解を閉形式化できるか、または曲率整合のための対角バリアントを可能にする。
• デュアル変数を分離し、局所的な曲率を対角行列D_kで捉えるため、対角前条件子P_kを導入する。
• デュアル更新が標準的な凸集合への単純な射影（例：楕円制約、構造化L1、線形制約）になる適用例を探る。
• 現在の前条件付き勾配方向とモーメント方向で張られた2次元の部分空間L_kを構築し、この部分空間に制限した近接ニュートンモデルを解く。
• ヘッセ行列計量に対して部分空間の基底を直交化し、交互の一次元更新を効率的に行い、1回あたりの計算コストを低く維持する。

実験結果

リサーチクエスチョン

• RQ1 ノンスムース項に線形演算子を含む複合最適化問題にも部分空間法を適用できるか。
• RQ2 構造を活かした前条件化子が、前問題のデュアル更新を閉形式で可能にするのか。
• RQ3 共役モーメントを持つ低次元の部分空間近接ニュートンモデルを組み込むと、条件数の悪い問題で収束が改善するか。
• RQ4 提案手法P^{2}GM_{CM}のグローバル収束とQ線形収束の保証はあるか。
• RQ5 高次元で条件数が悪い問題や構造化正則化タスクに対して、手法はどの程度の性能を示すか。

主な発見

• 適切な前条件子の下で閉形式のデュアル更新が得られ、近接サブ問題は扱いやすい計算に簡略化される。
• 対角前条件子はAP_k^{-1}A^{T}を対角化することで曲率情報と1回あたりの計算コストのバランスを取る。
• 2次元の部分空間と共役方向を用いた部分空間加速は曲率の活用を改善しつつ計算負荷を軽く保つ。
• 全局収束を確立し、強凸性の下でQ線形収束を証明する。
• 数値実験は高次元・不良条件問題において競争力のある性能を示し、LASSO、構造化L1、線形制約シナリオを含む。