[논문 리뷰] On the existence of Optimal Subspace Clustering Models

Akram Aldroubi, Romain Tessera|arXiv (Cornell University)|2010. 08. 27.

Bayesian Methods and Mixture Models참고 문헌 19인용 수 3

한 줄 요약

이 논문은 유한차원 및 무한차원 힐버트 공간에서 최적의 부분공간 군집 모델이 존재하기 위한 필요 및 충분 조건을 확립한다. 무한차원에서 접촉 쌍방체(contact hull)의 개념을 도입하고, 부분공간의 가족이 특정 위상 조건을 만족할 경우 최적의 근사가 존재함을 증명하며, 이는 에크아르트-영 정리의 일반화이자 이동 불변 부분공간 군집 모델에 대한 새로운 증명을 제공한다.

ABSTRACT

Given a set of vectors $\F=\{f_1,\dots,f_m\}$ in a Hilbert space $\HH$, and given a family $\CC$ of closed subspaces of $\HH$, the {\it subspace clustering problem} consists in finding a union of subspaces in $\CC$ that best approximates (models) the data $\F$. This problem has applications and connections to many areas of mathematics, computer science and engineering such as the Generalized Principle Component Analysis (GPCA), learning theory, compressed sensing, and sampling with finite rate of innovation. In this paper, we characterize families of subspaces $\CC$ for which such a best approximation exists. In finite dimensions the characterization is in terms of the convex hull of an augmented set $\CC^+$. In infinite dimensions however, the characterization is in terms of a new but related notion of contact hull. As an application, the existence of best approximations from $π(G)$-invariant families $\CC$ of unitary representations of abelian groups is derived.

연구 동기 및 목표

• 주어진 가족에서 부분공간의 합집합에 의해 유한 데이터 집합에 대한 최적 근사가 존재하기 위한 필요 및 충분 조건을 규명한다.
• 낮은 랭크 근사에 대한 고전적 에크아르트-영 정리를 더 일반적인 부분공간 가족, 특히 무한차원 설정으로 일반화한다.
• 최적 군집 모델의 존재를 보장하는 부분공간 가족의 위상적 특성화를 제공한다.
• 특히 이동 불변 공간을 포함한 유니터리 군 표현에 대한 불변 가족에 대해 최소 부분공간 근사 성질(MSAP)을 수립한다.
• 프로젝터와 스펙트럼 분해를 기반으로 한 새로운 이론적 프레임워크를 도입하여 압축 감지 및 하이브리드 선형 모델에서의 부분공간 군집에 대한 이전 결과를 일반화한다.

제안 방법

• 비선형 최소 제곱 부분공간 근사 문제를 닫힌 부분공간의 가족 위에서의 최소화 문제로 재구성한다.
• 확장된 가족 $\mathcal{C}^+$ 를 도입하고, MSAP 를 특성화하기 위해 유한 차원에서 그 볼록 쌍방체를 정의한다.
• 무한 차원에서는 볼록 쌍방체의 일반화로서 접촉 쌍방체를 정의하여 MSAP 를 특성화한다.
• 유니터리 표현에 대해 직접 적분을 이중 군 $\hat{G}$ 에 대해 프로젝터의 스펙트럼 분해를 사용한다.
• $\pi(G)$-불변 부분공간이 유계된 코랭크를 가지면 가측적인 생성자 가족이 존재함을 증명하여 최소화자가 존재함을 보장한다.
• 이론을 적용하여 $L^2(\mathbb{R})$ 와 $\ell^2(\mathbb{Z})$ 에서의 이동 불변 부분공간과 유한 순환 군 작용에 대해 MSAP 를 증명한다.

실험 결과

연구 질문

• RQ1 닫힌 부분공간의 가족 $\mathcal{C}$ 가 어떤 조건을 만족할 경우, 임의의 유한 데이터 집합 $\mathbf{F}$ 에 대해 최적 근사가 존재하는가?
• RQ2 고전적 에크아르트-영 정리는 어떻게 무한차원 힐버트 공간과 비볼록 부분공간 가족으로 일반화될 수 있는가?
• RQ3 비선형 제약 조건이 존재하는 상황에서 최적의 부분공간 군집 모델의 존재를 보장하는 위상적 또는 대수적 구조는 무엇인가?
• RQ4 $\pi(G)$-불변 부분공간이 유니터리 군 표현 하에서 최적 근사가 존재함을 보장할 수 있는가?
• RQ5 이중 군 $\hat{G}$ 와 직접 적분 분해는 최적 군집 모델을 특성화하는 데 어떤 역할을 하는가?

주요 결과

• 유한차원 힐버트 공간에서 부분공간의 가족 $\mathcal{C}$ 는 그 확장된 집합 $\mathcal{C}^+$ 의 볼록 쌍방체가 최적 프로젝터를 포함할 때이고, 그 때에만 MSAP 를 만족한다.
• 무한차원 힐버트 공간에서 최적 근사의 존재는 부분공간 $\mathcal{C}$ 의 접촉 쌍방체에 의해 특성화되며, 이는 볼록 쌍방체의 새로운 위상적 일반화이다.
• 힐버트 공간에서 차원 $\leq r$ 인 모든 부분공간의 가족은 MSAP 를 만족하며, 이는 에크아르트-영 정리를 무한차원으로 일반화한 것이다.
• $L^2(\mathbb{R})$ 의 $\pi(G)$-불변 부분공간이 유계된 코랭크를 가지면 최적 근사의 존재가 보장되며, 이는 [ACHM07] 에서의 결과에 대한 새로운 증명을 제공한다.
• $\ell^2(\mathbb{Z})$ 또는 $\ell^2(\{1,\dots,d\})$ 의 $\pi(G)$-불변 부분공간 중 차원 $\leq k$ 인 모든 부분공간의 집합은 $G$ 가 이산 아벨 군일 경우 MSAP 를 만족한다.
• 직접 적분 분해에서 프로젝터의 핵에 대한 가측적 orthonormal 기저의 존재는 불변 설정에서 최적 군집 모델의 존재를 보장한다.