[論文レビュー] Performance Analysis of Spectral Clustering on Compressed, Incomplete and Inaccurate Measurements

Blake Hunter, Thomas Strohmer|arXiv (Cornell University)|Nov 3, 2010

Sparse and Compressive Sensing Techniques参考文献 4被引用数 19

ひとこと要約

本稿は、行列補完と圧縮センシングを用いて圧縮・不完全・ノイズ混在データにスペクトルクラスタリングを適用した際のロバスト性に関する理論的境界を確立する。小さな摂動がアフィニティ行列に生じる場合、それらが真の座標から O(Nε) の範囲内にスペクトル座標を保つことを証明しており、k番目の固有値ギャップが存在する限りクラスタビリティが保たれる。顔画像や手書き数字を含む画像データセットを用いた検証が行われている。

ABSTRACT

Spectral clustering is one of the most widely used techniques for extracting the underlying global structure of a data set. Compressed sensing and matrix completion have emerged as prevailing methods for efficiently recovering sparse and partially observed signals respectively. We combine the distance preserving measurements of compressed sensing and matrix completion with the power of robust spectral clustering. Our analysis provides rigorous bounds on how small errors in the affinity matrix can affect the spectral coordinates and clusterability. This work generalizes the current perturbation results of two-class spectral clustering to incorporate multi-class clustering with k eigenvectors. We thoroughly track how small perturbation from using compressed sensing and matrix completion affect the affinity matrix and in succession the spectral coordinates. These perturbation results for multi-class clustering require an eigengap between the kth and (k+1)th eigenvalues of the affinity matrix, which naturally occurs in data with k well-defined clusters. Our theoretical guarantees are complemented with numerical results along with a number of examples of the unsupervised organization and clustering of image data.

研究の動機と目的

• データが不完全、ノイズ混在、またはランダムプロジェクションによって測定される場合、圧縮センシングと行列補完がスペクトルクラスタリングの性能に与える影響を分析すること。
• 測定の圧縮や行列補完に起因するアフィニティ行列の誤差に起因するスペクトル座標の摂動に関する厳密な理論的境界を確立すること。
• 既存の二クラススペクトルクラスタリング摂動結果を、k個の固有ベクトルを用いた多クラスクラスタリングに一般化すること。
• k番目の固有値ギャップ条件が成立する限り、小さな摂動においてクラスタビリティが保たれることを示し、圧縮または不完全な領域における非教師ありクラスタリングを可能にすること。
• 顔画像や手書き数字を含む実世界の画像データセットにおいて、最小限の測定値や欠損エントリで実用的妥当性を示すこと。

提案手法

• 高次元信号からの欠損または圧縮データの回復・推定に、ランダムプロジェクション（圧縮センシング）と核ノルム最小化（行列補完）を用いる。
• アフィニティ行列 A の摂動を |A(i,j) − Ã(i,j)| ≤ ε としてモデル化し、ここで ε は測定誤差または補完誤差に起因する。
• 固有ベクトル摂動理論（例えば、Davis-Kahan 定理）を適用して、摂動されたアフィニティ行列 Ã の最初の k 個の固有ベクトルが真のものからどれほど離れるかを境界づける。
• Ã の最初の k 個の固有ベクトルの張る空間が真の空間から O(Nε) の範囲内にあり、スペクトル座標が真の座標のユニタリ変換から O(Nε) の範囲内にあることを導出する。
• 摂動されたスペクトル座標上で k-means クラスタリングを実行し、クラスタ割り当てが元の状態から O(Nε) の範囲内にあることを示す。
• 顔画像で 5% のエントリが観測されたデータセットや、圧縮測定を用いた手書き数字データセットを含む、合成データおよび実画像データにおける数値実験を通じて理論的境界を検証する。

実験結果

リサーチクエスチョン

• RQ1 圧縮センシングや行列補完に起因するアフィニティ行列の小さな摂動が、クラスタリングに用いられるスペクトル座標にどのように影響するか？
• RQ2 欠損エントリや圧縮測定があるデータに対してスペクトルクラスタリングがクラスタビリティを維持できるか、そしてその条件は何か？
• RQ3 このような摂動下でのスペクトル座標およびクラスタ割り当ての偏差に対して、どのような理論的境界を確立できるか？
• RQ4 k番目の固有値ギャップは、測定ノイズや不完全性下での多クラススペクトルクラスタリングのロバスト性にどのように寄与するか？
• RQ5 圧縮または不完全な測定が、実証的に画像データの元のクラスタ構造をどの程度保っているか？

主な発見

• 摂動されたアフィニティ行列 Ã の最初の k 個の固有ベクトルの張る空間は、真の固有空間から O(Nε) の範囲内にあり、ここで ε は A の要素ごとの最大摂動である。
• Ã から得られるスペクトル座標は、真のスペクトル座標のユニタリ変換から O(Nε) の範囲内にあり、構造的保存が保証される。
• 摂動された座標上で k-means を用いたクラスタ割り当ては、真の割り当てから O(Nε) の範囲内にあり、k-固有値ギャップ条件の下でクラスタビリティが保たれる。
• 5% のエントリしか観測されていない顔画像データセットにおいて、行列補完 followed でスペクトルクラスタリングが3人分のクラスタ構造を効果的に回復した。
• 手書き数字のデータに対して、32個のガウス測定を用いた圧縮スペクトルクラスタリングは、完全画像スペクトルクラスタリングと同等の分類性能を達成し、2^8 測定値で誤分類率 0.1 を達成したのに対し、完全データでは 2^13 必要であった。
• 圧縮測定の数が増加するにつれ、摂動されたアフィニティ行列の最初の3つの固有ベクトルの張る空間が真の空間に収束することが確認され、理論的誤差境界が裏付けられた。