[論文レビュー] On the existence of Optimal Subspace Clustering Models

Akram Aldroubi, Romain Tessera|arXiv (Cornell University)|Aug 27, 2010

Bayesian Methods and Mixture Models参考文献 19被引用数 3

ひとこと要約

本稿は、有限次元および無限次元ヒルバート空間における最適部分空間クラスタリングモデルの存在に対する必要十分条件を確立する。無限次元においては接触包（contact hull）の概念を導入し、部分空間族が特定の位相的条件を満たす場合、最適近似が存在することを証明する。これはエイカート＝ヤングの定理を一般化し、シフト不変部分空間クラスタリングについても新たな証明を与える。

ABSTRACT

Given a set of vectors $\F=\{f_1,\dots,f_m\}$ in a Hilbert space $\HH$, and given a family $\CC$ of closed subspaces of $\HH$, the {\it subspace clustering problem} consists in finding a union of subspaces in $\CC$ that best approximates (models) the data $\F$. This problem has applications and connections to many areas of mathematics, computer science and engineering such as the Generalized Principle Component Analysis (GPCA), learning theory, compressed sensing, and sampling with finite rate of innovation. In this paper, we characterize families of subspaces $\CC$ for which such a best approximation exists. In finite dimensions the characterization is in terms of the convex hull of an augmented set $\CC^+$. In infinite dimensions however, the characterization is in terms of a new but related notion of contact hull. As an application, the existence of best approximations from $π(G)$-invariant families $\CC$ of unitary representations of abelian groups is derived.

研究の動機と目的

• 与えられた部分空間族からなる部分空間の和集合による有限データセットへの最良近似の存在に必要な十分条件を特定すること。
• 低ランク近似に関する古典的エイカート＝ヤングの定理を、無限次元設定や非凸な部分空間族を含むより一般的な部分空間族へと一般化すること。
• 最適クラスタリングモデルの存在を保証する部分空間族の位相的特徴づけを提供すること。
• ユニタリ群の表現における不変族に対して、最小部分空間近似性質（MSAP）を確立すること、特にシフト不変空間を対象とする。
• プロジェクターやスペクトル分解に基づく新しい理論枠組みを導入することで、圧縮センシングおよびハイブリッド線形モデルにおける部分空間クラスタリングの先行結果を一般化すること。

提案手法

• 非線形最小二乗部分空間近似問題を、閉部分空間族上の最小化問題に再定式化する。
• 有限次元では、拡張族 $\mathcal{C}^+$ の凸包を定義し、MSAP を特徴づける。
• 無限次元では、凸包の一般化としての接触包を定義し、MSAP を特徴づける。
• ユニタリ表現におけるプロジェクタのスペクトル分解を、双対群 $\hat{G}$ における直積分の観点から記述する。
• $\pi(G)$-不変でコランクが有界な部分空間は、測度的可測な生成元の族を有し、最小化子の存在を保証することを証明する。
• 理論を応用して、$L^2(\mathbb{R})$ および $\ell^2(\mathbb{Z})$ におけるシフト不変部分空間と、有限巡回群作用に対して MSAP が成り立つことを証明する。

実験結果

リサーチクエスチョン

• RQ1 部分空間族 $\mathcal{C}$ がどのような条件下で、任意の有限データセット $\mathbf{F}$ に対して最良近似が存在するか。
• RQ2 古典的エイカート＝ヤングの定理を無限次元ヒルバート空間および非凸な部分空間族へとどのように一般化できるか。
• RQ3 非線形制約が存在する状況において、最適部分空間クラスタリングモデルの存在を保証する位相的または代数的構造は何か。
• RQ4 $\pi(G)$-不変部分空間がユニタリ群の表現のもとで、最適近似が保証されるか。
• RQ5 双対群 $\hat{G}$ および直積分分解は、最適クラスタリングモデルを特徴づける上で果たす役割は何か。

主な発見

• 有限次元ヒルバート空間では、部分空間族 $\mathcal{C}$ が MSAP を満たすための必要十分条件は、拡張集合 $\mathcal{C}^+$ の凸包が最適プロジェクタを含むことである。
• 無限次元ヒルバート空間では、最適近似の存在は、$\mathcal{C}$ の接触包によって特徴づけられ、これは凸包の一般化である新しい位相的構成である。
• ヒルバート空間における次元 $\leq r$ のすべての部分空間の族は MSAP を満たす。これはエイカート＝ヤングの定理を無限次元へ一般化する。
• $L^2(\mathbb{R})$ における $\pi(G)$-不変部分空間でコランクが有界なものは、最適近似が存在することが保証され、[ACHM07] に示された結果の新たな証明を与える。
• $\ell^2(\mathbb{Z})$ または $\ell^2(\{1,\dots,d\})$ における次元 $\leq k$ のすべての $\pi(G)$-不変部分空間の族は、$G$ が離散アーベル群であるとき MSAP を満たす。
• 直積分分解におけるプロジェクタの核に測度的可測な正規直交基底が存在することは、不変設定における最適クラスタリングモデルの存在を保証する。