[論文レビュー] Subspace Clustering with Missing and Corrupted Data

Zachary Charles, Amin Jalali+1 more|arXiv (Cornell University)|Jul 8, 2017

Face and Expression Recognition参考文献 4被引用数 8

ひとこと要約

本稿では、ℓ₁ノルム正則化と最小二乘損失の組み合わせを最小化することで、欠損データや汚損データに対処するスパース部分空間クラスタリング（LS-SSC）のロバストな変種を提案する。従来の分析よりも高いノイズおよび欠損データレベルにおいて部分空間検出の理論的保証を確立し、1サンプルあたり最大O(n/d)の欠損エントリとO(1/√d)のℓ₂ノイズを許容可能とし、以前の研究がd ≲ √nを要件としていたのと比べ顕著に改善している。

ABSTRACT

Given full or partial information about a collection of points that lie close to a union of several subspaces, subspace clustering refers to the process of clustering the points according to their subspace and identifying the subspaces. One popular approach, sparse subspace clustering (SSC), represents each sample as a weighted combination of the other samples, with weights of minimal $\ell_1$ norm, and then uses those learned weights to cluster the samples. SSC is stable in settings where each sample is contaminated by a relatively small amount of noise. However, when there is a significant amount of additive noise, or a considerable number of entries are missing, theoretical guarantees are scarce. In this paper, we study a robust variant of SSC and establish clustering guarantees in the presence of corrupted or missing data. We give explicit bounds on amount of noise and missing data that the algorithm can tolerate, both in deterministic settings and in a random generative model. Notably, our approach provides guarantees for higher tolerance to noise and missing data than existing analyses for this method. By design, the results hold even when we do not know the locations of the missing data; e.g., as in presence-only data.

研究の動機と目的

• データに顕著な欠損エントリや加法的ノイズが存在する状況でも効果を発揮するロバストな部分空間クラスタリング手法の開発。
• 現実的なデータ汚損および欠損状況下での部分空間検出の理論的保証の提供。
• スパース部分空間クラスタリングにおけるノイズおよび欠損データ耐性の既存理論的境界の改善。
• 欠損データの位置に関する事前知識がなくても、存在のみのデータ設定を含めてLS-SSCの性能を分析すること。

提案手法

• ℓ₁ノルム最小化と最小二乗フィッティングを組み合わせた正則化最適化問題を用いて、ロバストなスパース部分空間クラスタリングの変種（LS-SSC）を定式化する。
• 射影ステップを含まないデュアル証明のアプローチを導入し、新たな非一様性定義とよりタイトな理論的境界を導出する。
• 決定論的および確率的生成モデルを分析し、部分空間検出性が成立する条件を導出する。
• 確率的集中不等式を用いて、汚損または欠損成分のノルムをバインドし、部分空間間の幾何的分離を保証する。
• クラスタリングに成功するためのノイズレベルおよび欠損データ率の明示的閾値を導出する。
• 学習された係数行列 |C| + |C|ᵀ に対してスペクトルクラスタリングを適用し、部分空間クラスタを回復する。

実験結果

リサーチクエスチョン

• RQ1 LS-SSCは、高いレベルの欠損データと加法的ノイズ下でも部分空間検出を維持できるか？
• RQ2 ノイズレベルや欠損エントリ数がどの程度まで上昇しても、LS-SSCが正しくクラスタリングを保証できるか？
• RQ3 汚損および欠損状況下で、LS-SSCが既存の理論的境界をどの程度改善しているか？
• RQ4 欠損データの位置が不明な場合、例えば存在のみのデータ設定においても、本手法は有効性を保つのか？
• RQ5 理論的保証を確率的部分空間およびそれら内に一様に抽出された点へと拡張できるか？

主な発見

• LS-SSCは、ℓ₂ノルムがO(1/√d)で有界な加法的ノイズ下でも部分空間検出を達成し、従来のO(1/d)の境界を改善している。
• 1サンプルあたり最大O(n/d)の欠損エントリを許容可能であり、従来の解析が示したO(n/d²)の制限を著しく上回っている。
• 欠損データの位置が不明な場合でも理論的保証が成立し、存在のみのデータ設定への応用が可能である。
• デュアル証明構築における射影ステップの排除により、ノイズ耐性と部分空間次元の間のより好都合なトレードオフが達成された。
• 正則化パrameter λ に対して、非空の区間が存在し、その範囲で高確率で非自明かつ正しいクラスタリング結果が得られることを分析で示した。
• 高次元設定において、部分空間次元dが環境次元nに比例する場合でも、本手法は有効に機能する。一方、従来の研究はd ≲ √nを要件としていた。