[論文レビュー] Polynomial Matrix Completion for Missing Data Imputation and Transductive Learning

Jicong Fan, Yuqian Zhang+1 more|arXiv (Cornell University)|Dec 15, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用数 5

ひとこと要約

本稿では、低固有次元の多項式生成モデルに従う高ランク行列補完のための新規手法である多項式行列補完（PMC）を提案する。データを高次元の多項式特徴空間に写像し、カーネルに基づく最適化によりランクを最小化することで、欠損データ補完、部分空間クラスタリング、モーショングラフ回復、伝達学習の分野において、最先端手法を上回る回復精度を達成する。

ABSTRACT

This paper develops new methods to recover the missing entries of a high-rank or even full-rank matrix when the intrinsic dimension of the data is low compared to the ambient dimension. Specifically, we assume that the columns of a matrix are generated by polynomials acting on a low-dimensional intrinsic variable, and wish to recover the missing entries under this assumption. We show that we can identify the complete matrix of minimum intrinsic dimension by minimizing the rank of the matrix in a high dimensional feature space. We develop a new formulation of the resulting problem using the kernel trick together with a new relaxation of the rank objective, and propose an efficient optimization method. We also show how to use our methods to complete data drawn from multiple nonlinear manifolds. Comparative studies on synthetic data, subspace clustering with missing data, motion capture data recovery, and transductive learning verify the superiority of our methods over the state-of-the-art.

研究の動機と目的

• 非線形的またはマルチサブスペース構造を有する高ランク行列を扱う際、低ランク行列補完（LRMC）の限界を解消すること。
• 行列の列が低次元の潜在変数の多項式写像によって生成される新たな生成モデルを構築すること。
• 高次元の多項式特徴空間においてランクを最小化するカーネルに基づく最適化フレームワークを提案し、欠損エントリを回復すること。
• 複数の非線形多様体やマルチサブスペース構造からのデータに対し、効果的な行列補完を可能にすること。
• 不完全なデータにおいて、部分空間クラスタリング、モーショングラフ回復、伝達学習の分野で最先端の性能を示すこと。

提案手法

• データ行列 X が、低次元の潜在変数 z ∈ ℝ^d を ℝ^m に写像する解析的関数 f によって生成され、その結果として高ランクまたはフルランクの X が得られると仮定する。
• q 次の多項式特徴写像 φ を適用して、X をより高次元の空間に変換し、変換後の行列 φ(X) が近似的に低ランクであることを保証する。
• 特徴空間におけるランク最小化問題として行列補完を定式化し、カーネルトリックを用いた核ノルムの新規な緩和化手法を用いる。
• 2つの変種を提案する：PMC-S（シュタット-p ノルムの緩和）と PMC-W（重み付き核ノルム）、両者とも交替方向乗数法（ADMM）を用いて効率的に最適化する。
• 高次元特徴空間における内積を明示的に計算せずに、カーネルトリックを用いて暗黙的に計算することで、計算効率を向上させる。
• 理論的分析により、φ(X) を低ランク行列で近似する際の誤差は、多項式次数が高くなるほど、および関数が滑らかになるほど減少することが示され、本手法の妥当性が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 多項式特徴写像は、非線形写像によって生成される高ランク行列の低固有次元構造を効果的に捉えることができるか？
• RQ2 カーネルによって誘導される多項式特徴空間におけるランク最小化は、非線形的またはマルチサブスペースデータの欠損エントリ回復において、従来の低ランク行列補完を上回る性能を示すか？
• RQ3 提案された多項式生成モデル下での正確な回復に必要なサンプリング複雑度はいかほどか？
• RQ4 本手法は、部分空間クラスタリング、モーショングラフ回復、不完全なデータにおける伝達学習といった実用的応用において、どのように性能を発揮するか？
• RQ5 既存手法と比較して、複数の非線形多様体や複雑なマルチサブスペース構造からのデータを、本手法はより効果的に処理できるか？

主な発見

• 合成データにおいて、多項式次数 k が増加するに従い、PMC-S および PMC-W は LRMC や SRMC よりも顕著に低い回復誤差（RSE）を達成する。
• Hopkins 155 データセットにおいて、PMC-S および PMC-W は LRMC より最大 50%、SRMC より最大 30% の部分空間クラスタリング誤差を低下させ、特に高い欠損率下でも顕著である。
• モーショングラフデータ回復において、PMC-W は LRMC より 40%、SRMC より 25% の相対絶対誤差（RAE）が低く、高い欠損率および特徴スケールの変動に対しても安定した性能を示す。
• 伝達学習タスクにおいて、PMC-S および PMC-W はゼロ埋め補完を用いた SVM より最大 50% の分類誤差低減を達成し、Mice Protein や Shuttle データセットにおいて LRMC や SRMC よりも 20–40% の誤差低減を実現する。
• 理論的分析により、本手法のサンプリング複雑度は固有次元 d および多項式次数 q に対して良好にスケーリングすることが確認され、高ランク設定下での LRMC に対する優位性が裏付けられる。
• すべてのベンチマークにおいて PMC-W が PMC-S を常に上回る性能を示しており、重み付き核ノルム正則化が行列補完におけるロバスト性と精度を向上させることを示している。