[論文レビュー] Low-Rank Matrix Completion using Nuclear Norm with Facial Reduction

Shimeng Huang, Henry Wolkowicz|arXiv (Cornell University)|Aug 15, 2016

Sparse and Compressive Sensing Techniques参考文献 6被引用数 5

ひとこと要約

本稿では、最適解における隠れた低ランク構造を活用することで、低ランク行列補完の核ノルム最小化を高速化する顔削減アプローチを提案する。観測データグラフ内のクリークを特定し、露出ベクトルを計算することで、半定値計画問題（SDP）のサイズを顕著に削減し、より高速かつ高精度な解法を実現する。特にノイズが多い環境や大規模な設定において顕著な効果を示す。

ABSTRACT

Minimization of the nuclear norm is often used as a surrogate, convex relaxation, for finding the minimum rank completion (recovery) of a partial matrix. The minimum nuclear norm problem can be solved as a trace minimization semidefinite programming problem, (SDP). The SDP and its dual are regular in the sense that they both satisfy strict feasibility. Interior point algorithms are the current methods of choice for these problems. This means that it is difficult to solve large scale problems and difficult to get high accuracy solutions. In this paper we take advantage of the structure at optimality for the minimum nuclear norm problem. We show that even though strict feasibility holds, the facial reduction framework can be successfully applied to obtain a proper face that contains the optimal set, and thus can dramatically reduce the size of the final nuclear norm problem while guaranteeing a low-rank solution. We include numerical tests for both exact and noisy cases. In all cases we assume that knowledge of a target rank is available.

研究の動機と目的

• 核ノルム最小化による凸緩和を活用することで、低ランク行列補完（LRMC）の計算的に困難な性質に対処する。
• 最適解集合における構造的退化を活用することで、大規模なLRMCに対して標準的な内点法の非効率性を克服する。
• 最適解を含む低次元の面を特定する顔削減フレームワークを構築する。これは、厳密な可解性が成り立つ場合でも有効である。
• 次元削減と精錬技術を用いて、ノイズのあるおよび大規模な行列補完問題を効率的に解けるようにする。
• 過剰決定問題に対して、顔削減とパラメトリック精錬、スケッチ法を組み合わせることで、正確かつノイズに強い回復手法を提供する。

提案手法

• 観測された行列要素のグラフ表現を用い、構造的依存関係を符号化する重み付き無向グラフ $G=(V,E,w)$ 内のクリークを特定する。
• クリーク重み $u_X^i$ と露出ベクトル重み $w_X^i$ を計算し、顔削減の部分空間を特定する。最適解が低次元の面に存在することを利用している。
• 核ノルム最小化の半定値計画問題（SDP）定式化に対して顔削減を適用し、変数次元を削減しながら最適性を保持する。
• ノイズのあるデータに対しては、問題を半定値最小二乗問題に変換し、スケッチ行列を用いてサイズを縮小する。制約の削除を回避する。
• 顔削減後に双対乗数を用いたパラメトリック精錬ステップを適用し、特にノイズが多い環境での解の精度を向上させる。
• 文献[3]の露出ベクトルアプローチを活用し、厳密な可解性が成り立つ場合でも、最適解を含む最小の面を体系的に特定する。

実験結果

リサーチクエスチョン

• RQ1 厳密な可解性が成り立つ状況でも、核ノルム最小化に顔削減を効果的に適用できるか。
• RQ2 観測行列のグラフにおけるクリーク構造をどのように活用し、最適解を含む低次元の面を特定できるか。
• RQ3 顔削減が正確な行列補完とノイズのある行列補完の両方において、計算効率と解の精度に与える影響は何か。
• RQ4 スケーラビリティとノイズへのロバストネスの観点から、既存の手法と比較して本手法はどのように優れているか。
• RQ5 部分的または不十分なデータを伴う大規模問題に対しても、顔削減フレームワークを拡張して適用可能か。

主な発見

• 顔削減は、厳密な可解性が成り立つ場合でさえも、最適解を含む低次元の面を効果的に特定し、SDP変数のサイズを顕著に削減する。
• ノイズのない状況では、顔削減により余分な制約が除去され、削減された問題を高精度かつ高速に直接解くことが可能になる。
• ノイズのあるデータに対しては、顔削減により過剰決定型半定値最小二乗問題に変換され、その後スケッチ行列を用いて効率的に縮小される。
• 数値実験の結果、本手法は高い精度を達成しており、$m \times n = 700 \times 1000$、$r=3$、ノイズレベル $10^{-3}$ の条件下で、精錬後に相対誤差が $2.43 \times 10^{-3}$ まで低下する。
• 解法時間の短縮とロバストネスの向上が実現され、$900 \times 2000$ の大規模問題（$r=3$）に対しても、精錬ステップは100ms未満で実行可能である。
• クリーク構造が不十分な場合でも、本手法は部分的な補完を可能にし、失敗ではなくデータ不足を示唆する診断的洞察を提供する。