[論文レビュー] A robust SVD-free approach to matrix completion, with applications to interpolation of large scale data

Aleksandr Y. Aravkin, Rajiv Kumar+3 more|arXiv (Cornell University)|Feb 20, 2013

Sparse and Compressive Sensing Techniques参考文献 19被引用数 7

ひとこと要約

本稿では、ユーザーが指定するデータ適合誤差レベルを標的にした、SVDを必要としないロバストな行列補完アルゴリズムであるLR-BPDNを提案する。この手法により、大規模なデータ補間が効率的に行える。因子化最適化と、重み付き部分空間情報および大きな誤差に対するロバスト性の拡張を活用することで、MovieLensおよび実際の地震データにおいて、汚染された測定値が存在する状況でも高品質な再構成が達成される。

ABSTRACT

Recent SVD-free matrix factorization formulations have enabled rank minimization for systems with millions of rows and columns, paving the way for matrix completion in extremely large-scale applications, such as seismic data interpolation. In this paper, we consider matrix completion formulations designed to hit a target data-fitting error level provided by the user, and propose an algorithm called LR-BPDN that is able to exploit factorized formulations to solve the corresponding optimization problem. Since practitioners typically have strong prior knowledge about target error level, this innovation makes it easy to apply the algorithm in practice, leaving only the factor rank to be determined. Within the established framework, we propose two extensions that are highly relevant to solving practical challenges of data interpolation. First, we propose a weighted extension that allows known subspace information to improve the results of matrix completion formulations. We show how this weighting can be used in the context of frequency continuation, an essential aspect to seismic data interpolation. Second, we propose matrix completion formulations that are robust to large measurement errors in the available data. We illustrate the advantages of LR-BPDN on the collaborative filtering problem using the MovieLens 1M, 10M, and Netflix 100M datasets. Then, we use the new method, along with its robust and subspace re-weighted extensions, to obtain high-quality reconstructions for large scale seismic interpolation problems with real data, even in the presence of data contamination.

研究の動機と目的

• 地震データ補間のような応用分野における大規模行列補完の課題に取り組むこと。伝統的なSVDベースの手法は計算的に非現実的である。
• ユーザーが目標とするデータ適合誤差レベルを指定可能にすることで、複数のハイパーパrameterのチューニングに依存しなくなるようにし、実用的導入を可能にする。
• 部分空間に関する事前知識を重み付き行列補完定式化により組み込むことで、データ補間タスクにおける再構成品質を向上させる。
• 地震データにおけるノイズや欠損トレースがある現実世界の応用において特に重要な、大きな測定誤差に対するロバスト性を強化する。
• ベンチマークの協調フィルタリングデータセットおよび実世界の大規模地震データにおいて、提案フレームワークの有効性を実証する。

提案手法

• 低ランク行列補完を核ノルムの因子化された緩和形で最小化することで、数百万行・数百万列にまでスケーラブルなSVDを不要とする最適化フレームワークであるLR-BPDNを提案する。
• ユーザーが指定するデータ適合誤差許容度を備えた、基盤追求ノイズ除去（BPDN）スタイルの最適化として行列補完問題を定式化し、再構成精度を直接制御可能にする。
• 既知の部分空間情報（特に地震データ補間における周波数継続性）を効果的に活用できる、重み付き行列補完拡張を導入する。
• 観測エントリにおける外れ値にあまり敏感でないよう、データ適合項を変更することで、大きな測定誤差に対してもロバストな定式化を構築する。
• 交替方向乗数法（ADMM）または同様の一次元法を用いて、LR-BPDNフレームワークにおける因子化最適化問題を効率的に解く。
• 低ランク因子化を活用することで、明示的なSVD計算を回避し、大規模問題における計算コストとメモリ使用量を大幅に削減する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが指定するデータ適合誤差レベルを直接標的にした行列補完アルゴリズムは設計可能か？実用的導入を簡素化できるか？
• RQ2 地震データの周波数成分など、データ部分空間に関する事前知識を、行列補完に効果的に統合できるか？
• RQ3 実世界のデータ（地震データやセンサデータなど）に一般的に見られる大きな測定誤差に対しても、行列補完がロバストに動作できるか？
• RQ4 Netflix 100Mや地震データなどの大規模データセットにおいて、提案されたLR-BPDNフレームワークは、既存手法に比べてどれほど精度とスケーラビリティで優れているか？
• RQ5 データ汚染が存在する状況でも、提案手法は計算効率を維持しながら高品質な補間を達成できるか？

主な発見

• LR-BPDNは、MovieLens 1M、10M、Netflix 100Mデータセットにおいて高品質な行列補完を達成し、大規模な協調フィルタリングタスクにおけるスケーラビリティと正確性を示した。
• LR-BPDNの重み付き拡張は、周波数継続性に特に有効な既知の部分空間情報を活用することで、地震データ補間における再構成品質を向上させた。
• LR-BPDNのロバストな定式化は、観測データに大きな測定誤差が含まれる状況でも高い再構成正確性を維持し、汚染下でも標準的手法を上回る性能を示した。
• SVD計算の必要がないため、LR-BPDNは数百万行・数百万列の行列補完を実現可能であり、極めて大規模な応用に適している。
• 実際の地震データで、汚染があっても高い忠実度で再構成に成功した。これは、地球物理学的データ処理における実用的有用性を裏付けている。
• LR-BPDNにおけるユーザー定義誤差許容度のおかげで、ハイパーパrameterチューニングが簡素化され、実務家は最適な結果を得るために因子ランクのみを指定すればよい。