[論文レビュー] Tractable and Scalable Schatten Quasi-Norm Approximations for Rank Minimization

Fanhua Shang, Yuanyuan Liu+1 more|arXiv (Cornell University)|Feb 27, 2018

Sparse and Compressive Sensing Techniques被引用数 30

ひとこと要約

本稿では、それぞれスチャッテン-1/2およびスチャッテン-1/3準ノルムと数学的に同等である、取り扱い可能なスチャッテン準ノルム近似として、二重トレース（Bi-tr）および三重トレース（Tri-tr）を提案する。これらのノルムを用いて低ランク行列回復問題を再定式化することで、因子行列における小規模な特異値分解（SVD）に置き換えることにより計算コストを低減し、収束保証付きの効率的な線形化逐次最小化アルゴリズムを実現する。これにより、最先端の手法と比較して、大規模な行列補完およびRPCAタスクにおけるスケーラビリティが顕著に向上する。

ABSTRACT

The Schatten quasi-norm was introduced to bridge the gap between the trace norm and rank function. However, existing algorithms are too slow or even impractical for large-scale problems. Motivated by the equivalence relation between the trace norm and its bilinear spectral penalty, we define two tractable Schatten norms, i.e.\\ the bi-trace and tri-trace norms, and prove that they are in essence the Schatten-$1/2$ and $1/3$ quasi-norms, respectively. By applying the two defined Schatten quasi-norms to various rank minimization problems such as MC and RPCA, we only need to solve much smaller factor matrices. We design two efficient linearized alternating minimization algorithms to solve our problems and establish that each bounded sequence generated by our algorithms converges to a critical point. We also provide the restricted strong convexity (RSC) based and MC error bounds for our algorithms. Our experimental results verified both the efficiency and effectiveness of our algorithms compared with the state-of-the-art methods.

研究の動機と目的

• 各反復でフルSVDに依存する既存のスチャッテン準ノルム最小化アルゴリズムの高い計算コストに対処すること。
• 非凸なスチャッテン-1/2およびスチャッテン-1/3準ノルムの取り扱いやすくスケーラブルな代替手法を低ランク行列回復のために開発すること。
• 大規模なSVDを小規模で効率的な計算に置き換える因子行列に基づく再定式化を確立すること。
• 提案された定式化に対して収束保証付きの効率的な線形化逐次最小化アルゴリズムを設計すること。
• 提案されたアルゴリズムの性能を理論的に評価するための誤差バインディングを提示し、大規模な行列補完およびロバストPCAタスクにおける優れた性能を示すこと。

提案手法

• スチャッテン-1/2およびスチャッテン-1/3準ノルムとそれぞれ数学的に同等である二つの新しいノルム、二重トレース（Bi-tr）および三重トレース（Tri-tr）を定義する。
• 行列因子分解を用いて、Bi-trおよびTri-trノルムの最小化が、スチャッテン-1/2およびスチャッテン-1/3準ノルムの最小化と同等であることを証明する。
• 因子行列を用いた定式化により、元のデータ行列全体のSVD計算を小規模な行列のSVD計算に置き換えることで、低ランク回復問題を再定式化する。
• Bi-trおよびTri-tr定式化を解くための二つの線形化逐次最小化アルゴリズムを設計し、臨界点への収束が保証されていることを示す。
• アルゴリズムの性能を分析するために、制限強い凸性（RSC）に基づく誤差バインディングおよび行列補完（MC）誤差バインディングを導入する。
• 合成データおよび実世界の推薦データセット上でアルゴリズムを実装・比較し、IRLS、IRNN、LRMF、LMaFitなどの標準ベースラインを用いる。

実験結果

リサーチクエスチョン

• RQ1 フルSVDを伴わないが、ランク関数をよりよく近似する非凸なトレースノルムの代替として、スケーラブルな手法を開発できるか？
• RQ2 スチャッテン-1/2およびスチャッテン-1/3準ノルムの行列因子分解に基づく同等の定式化は、大規模行列におけるフルSVDを回避できるか？
• RQ3 これらの新しい定式化に対して、大規模な問題（例えば行列補完やRPCA）にスケーラブルな効率的かつ収束保証付きのアルゴリズムを設計できるか？
• RQ4 合成データおよび実世界データの両方において、提案されたBi-trおよびTri-tr手法は、IRLS、IRNN、LRMFなどの最先端手法と比較して、精度および速度で優れているか？
• RQ5 収束性や誤差バインディングといった理論的保証は、提案されたアルゴリズムに対して確立できるか？

主な発見

• Bi-trおよびTri-trノルムは、それぞれスチャッテン-1/2およびスチャッテン-1/3準ノルムと数学的に同等であり、正確な低ランク近似を可能にする。
• 提案されたアルゴリズムは、特に大規模行列（例：50k×50k）において、IRLSやIRNNよりも顕著に高速な収束と短い実行時間を達成しており、48時間以内に完了しなかったIRLSやIRNNとは対照的である。
• 200×200のノイズ付き合成行列において、Bi-trおよびTri-tr手法はNNLS、ALT、LRMF、LMaFitよりも低いRSE（再構成二乗誤差和）を達成し、IRLSやIRNNの性能を模倣または上回った。
• MovieLens1MからNetflixまでの実世界の推薦データセットにおいて、LMaFitを除くすべてのベースラインより高速でありながら、顕著に低いRMSEを達成した。これにより、優れた精度とスケーラビリティが示された。
• 理論的解析により、アルゴリズムが生成する有界なシーケンスが臨界点に収束することが確認され、RSCに基づく誤差バインディングおよびMC誤差バインディングが確立され、回復の堅牢性を裏付ける根拠が得られた。
• 正則化パラメータμは、先行研究に従い√max(m,n)に設定され、合成データでは与えられたランクdを⌊1.25r⌋に、実世界データセットでは50に設定することで、公平な比較が保証された。