[論文レビュー] Unlabeled Principal Component Analysis

Yunzhen Yao, Liangzu Peng+1 more|arXiv (Cornell University)|Jan 23, 2021

Sparse and Compressive Sensing Techniques参考文献 35被引用数 9

ひとこと要約

本稿では、列の要素が任意に並び替えられた場合の低ランクデータ行列の回復を目的とした、Unlabeled Principal Component Analysis (UPCA) を提案する。代数幾何学を用いて、一般の条件下で真の列空間が置換を除いて一意に回復可能であることを証明し、ロバストPCAと対応関係なしの回帰を組み合わせた二段階のアルゴリズムを提案する。この手法により、顔画像のパッチに対してサブ秒の性能を達成する。

ABSTRACT

We consider the problem of principal component analysis from a data matrix where the entries of each column have undergone some unknown permutation, termed Unlabeled Principal Component Analysis (UPCA). Using algebraic geometry, we establish that for generic enough data, and up to a permutation of the coordinates of the ambient space, there is a unique subspace of minimal dimension that explains the data. We show that a permutation-invariant system of polynomial equations has finitely many solutions, with each solution corresponding to a row permutation of the ground-truth data matrix. Allowing for missing entries on top of permutations leads to the problem of unlabeled matrix completion, for which we give theoretical results of similar flavor. We also propose a two-stage algorithmic pipeline for UPCA suitable for the practically relevant case where only a fraction of the data has been permuted. Stage-I of this pipeline employs robust-PCA methods to estimate the ground-truth column-space. Equipped with the column-space, stage-II applies methods for linear regression without correspondences to restore the permuted data. A computational study reveals encouraging findings, including the ability of UPCA to handle face images from the Extended Yale-B database with arbitrarily permuted patches of arbitrary size in $0.3$ seconds on a standard desktop computer.

研究の動機と目的

• 各列のデータ要素が任意に並び替えられている場合に、標準的なPCAが適用できないという課題に対処すること。
• 一般の条件下で、座標の置換を除いて真のデータ部分空間が一意に回復可能であるという理論的保証を確立すること。
• 欠損値を含む状況に対応するためのフレームワークを拡張し、類似した理論的基盤を持つ「ラベルなし行列補完」を導入すること。
• 部分的な並び替えを伴う現実世界のデータに対して、ロバストPCAと対応関係なしの回帰を組み合わせた実用的な二段階アルゴリズムを開発すること。
• 特に、任意に並び替えられたパッチを有する顔画像に対して、実世界のデータセットを用いて実験的有効性を示すこと。

提案手法

• 一般のデータに対して、データを説明する最小次元部分空間が座標の置換を除いて一意に定まることを代数幾何学を用いて証明する。
• 真のデータ行列の行の置換に対応する、並び替えに依存しない多項方程式系を定式化する。
• 二段階のアルゴリズムを提案：第1段階では、並び替えがあっても真の列空間を推定するロバストPCAを用いる。
• 第2段階では、推定された列空間を用いて、対応関係なしの線形回帰手法を適用し、元のデータ構造を回復する。
• 計算パイプラインは効率的かつスケーラブルであり、顔画像パッチに対して標準的なハードウェアで0.3秒の再構成を達成する。
• 欠損値を含む状況に対してもフレームワークを拡張し、ラベルなし行列補完に関する理論的結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 任意に並び替えられた列要素を有するデータ行列から、座標の置換を除いて真の低ランク部分空間を一意に回復できるか？
• RQ2 ラベルなし行列回復の解空間の構造は何か？一般の条件下で解はいくつ存在するか？
• RQ3 ロバストPCAと対応関係なしの回帰をどのように組み合わせて、実際の並び替えられたデータを再構成できるか？
• RQ4 要素が並び替えられるとともに欠損している場合、行列補完に対してどのような理論的保証が得られるか？
• RQ5 本手法は、顔画像のような実世界のデータ、特に任意のパッチ並び替えに対して、どの程度効率的に再構成できるか？

主な発見

• 一般のデータに対して、座標の置換を除いて、並び替えられたデータを説明する唯一の最小次元部分空間が存在する。
• 問題から導かれた多項方程式系には有限個の解が存在し、それぞれが真のデータ行列の行の置換に対応する。
• 二段階のアルゴリズムは、部分的なデータの並び替えがある場合でも、高い正確性で並び替えられたデータを再構成できる。
• 拡張された Yale-B 顔データベースでは、標準デスクトップコンピュータで任意に並び替えられたパッチを有する画像をたった0.3秒で再構成できる。
• ラベルなし行列補完に関する理論的結果により、欠損値と任意の並び替えの両方を扱えるフレームワークが拡張された。
• 実験的結果により、本手法のロバスト性と効率性が確認され、実世界の応用における実用的妥当性が示された。