[論文レビュー] Simple and practical algorithms for $\ell_p$-norm low-rank approximation

Anastasios Kyrillidis|arXiv (Cornell University)|May 24, 2018

Sparse and Compressive Sensing Techniques参考文献 41被引用数 5

ひとこと要約

本稿では、既知または近似可能な問題パラメータのもとで(1+ε)-OPT近似保証を達成する、シンプルで勾配に基づく非凸なアルゴリズムを、ℓ₁およびℓ∞ノルムの低ランク行列近似に提案する。この手法は滑らかさ技術と非凸最適化を組み合わせており、実用的インスタンスにおいて、最良の手法を上回る解の品質と速度を達成しているが、ハイパーパrameterフリーではない。

ABSTRACT

We propose practical algorithms for entrywise $\ell_p$-norm low-rank approximation, for $p = 1$ or $p = \infty$. The proposed framework, which is non-convex and gradient-based, is easy to implement and typically attains better approximations, faster, than state of the art. From a theoretical standpoint, we show that the proposed scheme can attain $(1 + \varepsilon)$-OPT approximations. Our algorithms are not hyperparameter-free: they achieve the desiderata only assuming algorithm's hyperparameters are known a priori---or are at least approximable. I.e., our theory indicates what problem quantities need to be known, in order to get a good solution within polynomial time, and does not contradict to recent inapproximabilty results, as in [46].

研究の動機と目的

• 標準のℓ₂（フロベニウス）ノルムよりもよりロバストな、p=1またはp=∞のℓₚノルム低ランク行列近似のための実用的で効率的なアルゴリズムを開発すること。
• 既知の複雑性仮定のもとでNP困難または近似不能であると知られている、正確なℓ₁およびℓ∞ノルム低ランク近似の計算的非可能性に対処すること。
• 主要な問題パラメータ（例：ランク、条件数）が既知または近似可能であると仮定したもとで、多項式時間の複雑性のもとで高品質な近似（最適に近い）を達成する方法を設計すること。
• 理論的保証と実用的性能の両立を図るフレームワークを提供し、実験的評価で既存の保証付き手法およびヒューリスティック手法を上回ること。

提案手法

• 本手法は、p ∈ {1, ∞} に対して、近似誤差 M - UVᵀ のエントリごとの ℓₚ ノルムを最小化する非凸で勾配に基づく最適化フレームワークを採用する。
• ℓ₁およびℓ∞ノルムの微分不能性に対処するため、凸最適化からの滑らかさ技術を活用し、勾配計算を可能にする。
• アルゴリズムはUとVの間で交互最適化を行い、適応的ステップサイズを用いた勾配降下ステップで因子を更新する。
• 理論的分析により、既知または近似可能な問題パラメータ（例：ランク、条件数）のもとで、多項式時間内に(1+ε)-OPT近似が達成可能であることが示された。
• 本手法は実装が簡単でスケーラブルであり、従来の保証付き手法で用いられる複雑なスケッチや確率的射影を回避する。
• ハイパーパrameterフリーではない：性能は、ターゲットランクrや行列Mのスペクトル的性質といった、主要な量を既知または近似可能である必要がある。

実験結果

リサーチクエスチョン

• RQ1 シンプルで勾配に基づく非凸アルゴリズムが、ℓ₁およびℓ∞ノルム低ランク近似に対して(1+ε)-OPT近似を達成できるか？
• RQ2 多項式時間内に近最適解に収束させるために、どのような問題固有のパラメータを既知または近似可能にする必要があるか？
• RQ3 実用的評価において、本手法は最先端の保証付きおよびヒューリスティック手法と比べて、解の品質と実行時間の両面で優れているか？
• RQ4 特にロバストまたは量子化された設定において、SVDや既存のヒューリスティクスよりも良い近似誤差を達成できるか？

主な発見

• 主要な問題パラメータが既知または近似可能であると仮定したもとで、提案手法はℓ₁およびℓ∞ノルム低ランク近似に対して(1+ε)-OPT近似を達成する。
• 実験では、平均実行時間は[17]より高いものの、ℓ∞ノルム近似において中間の目的関数値が[17]を下回り、解の品質で最先端の手法を上回った。
• ℓ₁ノルム近似においては、目的関数値の観点で[9]および[46]を上回り、大規模行列においては著しく高速な実行時間を達成した。
• 目的関数値の観点ではSVDと同等の性能を示したが、実行時間はSVDより遅かった。しかし、ℓ∞ノルム問題においては、中間誤差が[17]を常に下回った。
• 本手法はハイパーパrameterフリーではない。理論的保証は、ランクや行列の条件数といったパラメータの事前知識または近似可能性に依存する。
• すべての実行で最小目的関数値を達成したわけではないが、中間誤差が常に[17]を下回り、典型的な性能が優れていた。