[논문 리뷰] Sketching for Large-Scale Learning of Mixture Models

Nicolas Keriven, Anthony Bourrier외 2명|theses.fr (ABES)|2016. 06. 09.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 8

한 줄 요약

이 논문은 높은 분산을 보이는 차원을 따라 방향성 샘플링을 통해 구성 요소 파라미터를 효율적으로 근사화함으로써 대규모 혼합 모델 학습을 가속화하는 스케치 기반 방법을 제안한다. 최대 분산 방향에서 평균 주위에 대칭적인 편향을 적용하여 구성 요소 수를 두 배로 늘임으로써, 최소한의 계산 오버헤드로도 확장 가능하고 정확한 파라미터 추정이 가능해지며, 고차원 데이터에서 학습 효율성이 크게 향상된다.

ABSTRACT

Learning parameters from voluminous data can be prohibitive in terms of memory and computational requirements. We propose a "compressive learning" framework where we estimate model parameters from a sketch of the training data. This sketch is a collection of generalized moments of the underlying probability distribution of the data. It can be computed in a single pass on the training set, and is easily computable on streams or distributed datasets. The proposed framework shares similarities with compressive sensing, which aims at drastically reducing the dimension of high-dimensional signals while preserving the ability to reconstruct them. To perform the estimation task, we derive an iterative algorithm analogous to sparse reconstruction algorithms in the context of linear inverse problems. We exemplify our framework with the compressive estimation of a Gaussian Mixture Model (GMM), providing heuristics on the choice of the sketching procedure and theoretical guarantees of reconstruction. We experimentally show on synthetic data that the proposed algorithm yields results comparable to the classical Expectation-Maximization (EM) technique while requiring significantly less memory and fewer computations when the number of database elements is large. We further demonstrate the potential of the approach on real large-scale data (over 10 8 training samples) for the task of model-based speaker verification. Finally, we draw some connections between the proposed framework and approximate Hilbert space embedding of probability distributions using random features. We show that the proposed sketching operator can be seen as an innovative method to design translation-invariant kernels adapted to the analysis of GMMs. We also use this theoretical framework to derive information preservation guarantees, in the spirit of infinite-dimensional compressive sensing.

연구 동기 및 목표

• 고차원 데이터에서 대규모 혼합 모델을 학습할 때 발생하는 계산적 병목 현상을 해결하기 위해.
• 모델 정확도를 훼손하지 않으면서 혼합 모델의 파라미터 추정에 소요되는 시간과 메모리 비용을 줄이기 위해.
• 최고 분산 차원을 따라 방향성 샘플링을 사용하여 구성 요소 파라미터를 근사화하는 확장 가능한 스케칭 기법을 개발하기 위해.
• 기존 구성 요소 집합을 더 크지만 더 잘 대표하는 지원 집합으로 변환함으로써 혼합 모델 학습의 효율성을 높이기 위해.

제안 방법

• 혼합 모델의 각 구성 요소에 대해 최대 분산을 보이는 차원을 식별하며, 이를 ℓ = argmax_j σ_k,j² 로 표기한다.
• 최대 분산 방향인 ℓ-번째 차원을 따라 평균 벡터 μ_k 를 ±σ_k,ℓ 만큼 양방향으로 편향시어 두 개의 새로운 구성 요소를 생성한다.
• 두 새로운 구성 요소 모두 원본 공분산 행렬 Σ_k 를 유지하여 구성 요소의 구조를 보존한다.
• 편향된 구성 요소 쌍을 추가하여 새로운 지원 집합 Θ^new 를 구성하며, 이로 인해 원래의 K개에서 총 2K개의 구성 요소로 증가한다.
• 확장된 지원 집합 Θ^new 를 사용하여 학습 도중 기저 데이터 분포의 근사치를 향상시킨다.

실험 결과

연구 질문

• RQ1 모델 정확도를 유지하면서 대규모 혼합 모델 학습의 계산 비용을 줄일 수 있는가?
• RQ2 고차원 공간에서 방향성 샘플링을 효율적으로 사용하여 구성 요소 파라미터를 근사화할 수 있는가?
• RQ3 최대 분산 방향에 따라 평균을 편향시키는 것이 모델 성능과 수렴 속도에 미치는 영향는 어떠한가?
• RQ4 구성 요소 지원 집합에 대한 스케칭 기반 변환을 통해 혼합 모델 학습의 확장성 향상을 이룰 수 있는가?

주요 결과

• 제안된 스케칭 기법은 구성 요소 수를 K에서 2K로 두 배로 늘림으로써 데이터 분포의 더 정확하고 확장 가능한 근사치를 가능하게 한다.
• 최대 분산 방향에 집중함으로써, 편향이 데이터 구조를 가장 잘 포괄할 수 있도록 정보가 풍부한 방식으로 보장된다.
• 기존 공분산 행렬을 유지함으로써, 새로운 지원 집합에서도 구성 요소별 불확실성을 보존한다.
• 이 변환은 추가적인 모델 피팅 반복이 필요 없이도 학습 효율성을 향상시키는 새로운 지원 집합 Θ^new 를 생성한다.