[論文レビュー] Scalable Robust Matrix Factorization with Nonconvex Loss

Quanming Yao, James T. Kwok|arXiv (Cornell University)|Oct 19, 2017

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、外れ値に対してより高い耐性を示すために、凸損失関数 $β_1$ や $β_2$ の代わりに非凸損失関数（例：対数和ペナルティ、Geman、ラプラス）を用いるスケーラブルなロバスト行列分解アルゴリズム RMFNL を提案する。主に最小化（MM）フレームワークと双対ドメインにおける加速近接勾配最適化を採用し、スパースデータの効率的処理が可能で、臨界点への収束を保証する。合成データおよび実世界のデータセットにおいて、精度と速度の両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Robust matrix factorization (RMF), which uses the $\ell_1$-loss, often outperforms standard matrix factorization using the $\ell_2$-loss, particularly when outliers are present. The state-of-the-art RMF solver is the RMF-MM algorithm, which, however, cannot utilize data sparsity. Moreover, sometimes even the (convex) $\ell_1$-loss is not robust enough. In this paper, we propose the use of nonconvex loss to enhance robustness. To address the resultant difficult optimization problem, we use majorization-minimization (MM) optimization and propose a new MM surrogate. To improve scalability, we exploit data sparsity and optimize the surrogate via its dual with the accelerated proximal gradient algorithm. The resultant algorithm has low time and space complexities and is guaranteed to converge to a critical point. Extensive experiments demonstrate its superiority over the state-of-the-art in terms of both accuracy and scalability.

研究の動機と目的

• $β_1$ や $β_2$ 損失関数を超えて、外れ値に対してより高い耐性を持つ行列分解の改善。
• 特にデータのスパarsityを活用できないという点で、既存のロバスト行列分解ソルバのスケーラビリティの限界の解消。
• 非凸で非滑らかである行列分解問題に対する、理論的収束保証を伴う効率的な最適化フレームワークの開発。
• レコメンデーションシステムや構造から姿勢を復元する（SfM）といった大規模でスパースな実世界のデータセットへの実用的導入の実現。

提案手法

• 外れ値に対してより高い耐性を示すために、非凸損失関数（例：対数和ペナルティ、Geman、ラプラス）を提案し、大きな残差に対して平坦になる特性を有する。$β_1$ 損失関数よりも優れた耐性を実現する。
• 非凸目的関数に対して凸な代替関数を構築するため、主に最小化（MM）技術を適用し、降下性を保証する。
• MMの代替関数を双対形式に変換し、加速近接勾配（APG）アルゴリズムを用いた効率的な最適化を可能にする。
• 観測済みのエントリのみに着目することで、APGアルゴリズムを設計し、時間的・空間的計算量の削減を実現する。
• Clarkeの部分微分を用いた新しい収束解析により、非凸性にもかかわらず臨界点への収束を理論的に保証する。
• MMとAPGフレームワークを統合し、スケーラブルかつロバストな行列分解を実現する統合アルゴリズム RMFNL を開発する。

実験結果

リサーチクエスチョン

• RQ1 非凸損失関数は、$β_1$ 損失関数を超えて、行列分解における外れ値への耐性を向上させることができるか？
• RQ2 スパースデータを活用できる非凸行列分解のためのスケーラブルな最適化フレームワークを設計できるか？
• RQ3 双対ドメイン最適化を用いた提案された MM-APG アプローチは、既存のソルバーよりも高速な収束と低い計算量を達成できるか？
• RQ4 非凸で非滑らかな目的関数において、アルゴリズムの収束が臨界点に保証されるか？
• RQ5 実世界のスパースデータセットにおいて、提案手法は最先端の手法と比べて精度と速度の両面で優れているか？

主な発見

• RMFNL は MovieLens データセットで最も低いテスト RMSE を達成し、RMF-MM や他のベースラインを上回った。MovieLens-1M では 0.884 ± 0.001、MovieLens-10M では 0.881 ± 0.003 を記録した。
• Dinosaur SfM データセットでは、RMFNL が最も低い MAE（D3 で 0.316 ± 0.006）を達成し、最も高速であった。最大のサブセットでは 3.4 ± 1.0 秒で処理を完了した。
• RMF-MM よりも著しく高速であり、スパースな SfM データにおいて実行時間を数百秒から 10 秒未満に短縮した。同時に精度も向上した。
• APG ステップでスパarsity を活用することで、時間的・空間的計算量を低減し、大規模問題へのスケーラビリティを実現した。
• Clarke の部分微分を用いた解析により、非凸性にもかかわらず臨界点への収束が理論的に保証された。これは、従来の凸 MM に基づく手法の収束保証を越えるものである。
• 実験的結果から、非凸損失関数（例：LSP、Geman、Laplace）は、多様なデータセットにおいて一貫して $β_1$-損失関数を上回る精度と耐性を示した。