[논문 리뷰] Dimensionality-Dependent Generalization Bounds for $k$-Dimensional Coding Schemes

Tongliang Liu, Dacheng Tao외 1명|arXiv (Cornell University)|2016. 01. 03.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 복구 오차에 의해 유도되는 손실 함수 클래스의 커버링 수를 제한하여 $k$-차원 코딩 기법(예: NMF, 딕셔너리 학습, $k$-평균)에 대해 차원 의존 일반화 경계를 제안한다. 이 경계는 $\mathcal{O}\left(\left(mk\ln(mkn)/n\right)^{\lambda_n}\right)$ 순서를 가지며, 데이터가 유한 차원 공간에 있을 경우, 특히 $k > m$일 때 최악의 $k$-의존성을 피하기 때문에 유한 차원 설정에서 차원 독립 경계보다 더 낫다.

ABSTRACT

The $k$-dimensional coding schemes refer to a collection of methods that attempt to represent data using a set of representative $k$-dimensional vectors, and include non-negative matrix factorization, dictionary learning, sparse coding, $k$-means clustering and vector quantization as special cases. Previous generalization bounds for the reconstruction error of the $k$-dimensional coding schemes are mainly dimensionality independent. A major advantage of these bounds is that they can be used to analyze the generalization error when data is mapped into an infinite- or high-dimensional feature space. However, many applications use finite-dimensional data features. Can we obtain dimensionality-dependent generalization bounds for $k$-dimensional coding schemes that are tighter than dimensionality-independent bounds when data is in a finite-dimensional feature space? The answer is positive. In this paper, we address this problem and derive a dimensionality-dependent generalization bound for $k$-dimensional coding schemes by bounding the covering number of the loss function class induced by the reconstruction error. The bound is of order $\mathcal{O}\left(\left(mk\ln(mkn)/n ight)^{λ_n} ight)$, where $m$ is the dimension of features, $k$ is the number of the columns in the linear implementation of coding schemes, $n$ is the size of sample, $λ_n>0.5$ when $n$ is finite and $λ_n=0.5$ when $n$ is infinite. We show that our bound can be tighter than previous results, because it avoids inducing the worst-case upper bound on $k$ of the loss function and converges faster. The proposed generalization bound is also applied to some specific coding schemes to demonstrate that the dimensionality-dependent bound is an indispensable complement to these dimensionality-independent generalization bounds.

연구 동기 및 목표

• 유한 차원 특징 공간에서 $k$-차원 코딩 기법에 대해 날카운 차원 의존 일반화 경계의 부족을 해결한다.
• 데이터 차원 $m$에 비해 $k$가 클 경우 느슨해지는 기존의 차원 독립 경계의 한계를 극복한다.
• 복구 오차의 공통된 구조적 특성을 활용하여 NMF, $k$-평균, 희소 코딩 등 여러 코딩 기법에 적용 가능한 일반적 프레임워크를 개발한다.
• 커버링 수 기반 분석이 최악의 $k$-의존성을 피함으로써, 유한 차원 설정에서 더 날카운 경계를 도출함을 보여준다.

제안 방법

• 재구성 오차 $f_T(x) = \min_{y \in Y} \|x - Ty\|^2$ 를 최소화하는 선형 사상 $T \in \mathbb{R}^{m \times k}$ 로서 $k$-차원 코딩 기법을 수식화한다.
• metric 엔트로피와 $T$의 $\ell_p$-노름 근사치를 사용하여 손실 함수 클래스 $\mathcal{F}_{\mathcal{T}}$ 의 커버링 수를 제한한다.
• Bennett의 부등식을 적용하여 $\mathcal{O}\left(\left(mk\ln(mkn)/n\right)^{\lambda_n}\right)$ 순서의 일반화 경계를 유도한다. 여기서 $n$ 이 유한할 경우 $\lambda_n > 0.5$ 이다.
• 손실 함수의 균일한 근사 보장을 확보하기 위해 $T$ 행렬의 유한한 $\xi$-넷 $\mathcal{S}$ 를 구성하여 커버링 수 $\mathcal{N}_1(F_{\mathcal{T}}, \xi', n)$ 를 제어한다.
• Cauchy-Schwarz 및 삼각 부등식을 사용하여 $|f_T(x) - f_{T'}(x)|$ 를 $\|T - T'\|_F$ 와 데이터 노름의 함수로 제한한다.
• 커버링 수가 $\mathcal{N}_1(F_{\mathcal{T}}, \xi', n) \leq \left(\frac{C}{\xi'}\right)^{mk}$ 로 증가함을 증명하며, 여기서 $C$ 는 데이터와 코드북 제약 조건에 따라 달라진다.

실험 결과

연구 질문

• RQ1 유한 차원 설정에서 기존의 차원 독립 경계보다 더 날카운, 차원 의존 일반화 경계를 $k$-차원 코딩 기법에 대해 유도할 수 있는가?
• RQ2 손실 함수 클래스의 커버링 수는 $k$-차원 코딩 기법에서 일반화 오차와 어떻게 관련이 있는가?
• RQ3 코드북 벡터의 수 $k$ 와 데이터 차원 $m$ 이 일반화 경계의 날카움에 어떤 영향을 미치는가?
• RQ4 제안된 경계는 NMF, $k$-평균, 희소 코딩과 같은 다양한 코딩 기법에 균일하게 적용될 수 있는가?
• RQ5 경계에서 $k$ 에 대한 최악의 의존성을 피하는 것이 $k > m$ 일 때 상당한 향상을 이끌어내는가?

주요 결과

• 제안된 일반화 경계는 $\mathcal{O}\left(\left(mk\ln(mkn)/n\right)^{\lambda_n}\right)$ 순서이며, 유한한 $n$ 에서는 $\lambda_n > 0.5$ 이고, 무한 표본 근처에서는 $\lambda_n = 0.5$ 이다.
• 최악의 $k$-의존성을 피하기 위해 커버링 수 분석을 사용함으로써, $k > m$ 일 경우 기존의 차원 독립 경계보다 상당히 날카운 경계를 도출한다.
• $k$-평균 클러스터링 및 벡터 양자화의 경우, 커버링 수는 $\left(\frac{8r^2\sqrt{m}}{\xi'}\right)^{mk}$ 로 제한되며, 여기서 $r$ 은 $Te_i$ 의 최대 노름이다.
• 최악의 $k$ 상한에 의존하지 않고 손실 함수 클래스를 직접 분석함으로써, 이전 방법보다 더 날카운 경계를 달성한다.
• 공통된 복구 오차 구조 덕분에 NMF, 딕셔너리 학습, 희소 코딩, $k$-평균, 벡터 양자화 등 다양한 코딩 기법에 적용 가능하다.
• 실험적 증거는 $k$ 가 $m$ 을 초월할수록 특히 구조화된 코드북을 가진 고차원 데이터에서 차원 의존 경계가 점점 유리해지는 경향을 보여준다.