[論文レビュー] Manifold Proximal Point Algorithms for Dual Principal Component Pursuit and Orthogonal Dictionary Learning

Shixiang Chen, Zengde Deng+2 more|arXiv (Cornell University)|May 5, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用数 12

ひとこと要約

本稿では、直交辞書学習（ODL）およびロバスト部分空間回復（RSR）に由来する、球面上での線形写像のℓ1ノルムを最小化する非凸・非滑らか問題を解くための多様体近接点アルゴリズム（ManPPA）とその確率的変種（StManPPA）を提案する。球面上の多様体構造を活用することで、ManPPAはグローバルに部分線形収束および鋭いインスタンスでは局所的二次収束を達成する。一方、StManPPAは大規模計算を可能にし、保証された部分線形収束を達成し、理論的・実践的に従来の部分勾配法を上回る性能を示す。

ABSTRACT

We consider the problem of maximizing the $\ell_1$ norm of a linear map over the sphere, which arises in various machine learning applications such as orthogonal dictionary learning (ODL) and robust subspace recovery (RSR). The problem is numerically challenging due to its nonsmooth objective and nonconvex constraint, and its algorithmic aspects have not been well explored. In this paper, we show how the manifold structure of the sphere can be exploited to design fast algorithms for tackling this problem. Specifically, our contribution is threefold. First, we present a manifold proximal point algorithm (ManPPA) for the problem and show that it converges at a sublinear rate. Furthermore, we show that ManPPA can achieve a quadratic convergence rate when applied to the ODL and RSR problems. Second, we propose a stochastic variant of ManPPA called StManPPA, which is well suited for large-scale computation, and establish its sublinear convergence rate. Both ManPPA and StManPPA have provably faster convergence rates than existing subgradient-type methods. Third, using ManPPA as a building block, we propose a new approach to solving a matrix analog of the problem, in which the sphere is replaced by the Stiefel manifold. The results from our extensive numerical experiments on the ODL and RSR problems demonstrate the efficiency and efficacy of our proposed methods.

研究の動機と目的

• 直交辞書学習（ODL）およびロバスト部分空間回復（RSR）に由来する、球面上での線形写像のℓ1ノルムを最小化する数値的課題に対処すること。
• 球面の多様体構造を活用して、この非凸・非滑らか最適化問題のための、より高速かつ保証された収束性を有するアルゴリズムを設計すること。
• ManPPAにおける部分問題の効率的解法を実現するため、半スムーズニュートンに基づく不正確な増大ラグランジュ法（inexact ALM）を設計すること。
• 大規模応用を想定し、収束保証を維持しながら大規模計算が可能な確率的変種、StManPPAを提案すること。
• より広範な応用性を実現するため、Stiefel多様体を用いた行列アナロジーへのフレームワークの拡張を図ること。

提案手法

• 球面上での反復的最小化を実現する多様体近接点アルゴリズム（ManPPA）を提案。球面上の近接最小化に二次ペナルティを用いた反復的問題を解く。
• ManPPAにおける探索方向の計算に、半スムーズニュートンに基づく不正確な増大ラグランジュ法（inexact ALM）を導入し、部分問題の解法において漸近的超線形収束を達成する。
• 大規模問題にスケーリング可能なStManPPAを構築。ℓ1目的関数のランダムサンプリングを用いることで、大規模計算を可能にする。
• 非凸な球面制約を扱うために、多様体固有の近接写像を用いたリーマン近接点フレームワークを採用する。
• 最適化の過程で反復点が球面上に留まるように、リーマン部分微分と接空間への射影を用いる。
• 非滑らか目的関数下でも収束保証を維持するため、多様体に基づくスムージングおよびラインサーチ戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 球面の多様体構造を活用することで、球面上でのℓ1最小化のためのより高速かつ保証された収束性を有するアルゴリズムを設計できるか？
• RQ2 ManPPAは、ODLおよびRSR問題において、従来の部分勾配法よりも優れた収束速度を達成するか？
• RQ3 部分問題を解くために、半スムーズニュートンに基づく不正確なALMを設計し、超線形収束を達成できるか？
• RQ4 収束保証を維持しながら大規模計算を可能にする、ManPPAの確率的変種を設計できるか？
• RQ5 Stiefel多様体を用いた行列アナロジーへのフレームワークの拡張は、辞書学習および部分空間回復のより広範な応用に適しているか？

主な発見

• ManPPAはグローバルに部分線形収束を達成し、鋭いインスタンスでは局所的二次収束を達成する。
• 半スムーズニュートンを用いた不正確なALMは、ManPPAの部分問題を解く際に漸近的超線形収束を達成する。
• StManPPAは保証された部分線形収束率を達成し、大規模問題に適している。
• ODLおよびRSRに関する数値実験では、ManPPAおよびStManPPAが従来の部分勾配法を、収束速度および解の品質の両面で上回ることを示した。
• Stiefel多様体を用いた行列アナロジーのための提案手法は、高ランク問題へのフレームワークの拡張に成功し、実験的にも有効である。