[논문 리뷰] Bayesian and L1 Approaches to Sparse Unsupervised Learning

Shakir Mohamed, Katherine Heller외 1명|arXiv (Cornell University)|2011. 06. 06.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 30

한 줄 요약

이 논문은 희박한 비지도 학습을 위한 L1 정규화보다 뛰어난 대안으로 스파이크-슬랩 베이지안因자 모델을 제안한다. 점 질량(스파이크)과 연속 분포(슬랩)를 조합한 이산 혼합 사전분포를 사용함으로써, 비제로 파라미터 값의 유지와 함께 희박성을 강제함으로써, 고정된 계산 예산 하에서도 L1 및 연속 사전분포를 사용하는 베이지안 방법보다 보다 뛰어난 예측 성능을 보인다.

ABSTRACT

The use of L1 regularisation for sparse learning has generated immense research interest, with successful application in such diverse areas as signal acquisition, image coding, genomics and collaborative filtering. While existing work highlights the many advantages of L1 methods, in this paper we find that L1 regularisation often dramatically underperforms in terms of predictive performance when compared with other methods for inferring sparsity. We focus on unsupervised latent variable models, and develop L1 minimising factor models, Bayesian variants of "L1", and Bayesian models with a stronger L0-like sparsity induced through spike-and-slab distributions. These spike-and-slab Bayesian factor models encourage sparsity while accounting for uncertainty in a principled manner and avoiding unnecessary shrinkage of non-zero values. We demonstrate on a number of data sets that in practice spike-and-slab Bayesian methods outperform L1 minimisation, even on a computational budget. We thus highlight the need to re-assess the wide use of L1 methods in sparsity-reliant applications, particularly when we care about generalising to previously unseen data, and provide an alternative that, over many varying conditions, provides improved generalisation performance.

연구 동기 및 목표

• 희박한 비지도 학습에서 L1 정규화의 성능을 비판적으로 평가하고, 널리 사용되지만 성능이 떨어지는 경향이 있음을 확인한다.
• L0 노름을 해석할 수 없는 상태에서 더 나은 근사치를 제공하는 스파이크-슬랩 사전분포를 활용한 원칙적인 베이지안 희박성 접근법을 개발한다.
• L1 최적화, 연속적인 희박성 유도 사전분포를 사용하는 베이지안 방법, 스파이크-슬랩 베이지안 모델의 세 가지 접근법을 다양한 비지도 학습 과제에서 비교한다.
• 스파이크-슬랩 모델이 고차원 또는 희박한 데이터 환경에서 더 뛰어난 일반화 및 재구성 정확도를 달성함을 입증한다.
• 일般적인 잠재변수 모델에 적용 가능한 효율적인 MCMC 추론 알고리즘을 제공한다.

제안 방법

• 노멀 분포 외의 분포를 포함하는 지수족 분포로 일반화된 잠재변수 모델 프레임워크를 제안함으로써, 비정규 및 이질적인 데이터를 모델링할 수 있도록 인과분석을 확장한다.
• 스파이크-슬랩 사전분포를 도입하여 이산 혼합 형태로 표현함: 영점에서의 점 질량(스파이크)과 연속 분포(슬랩)의 조합으로, 강력한 희박성을 유지하면서도 비제로 파라미터 추정치를 보존한다.
• 스파이크-슬랩 모델을 위한 전체 마르코프 체인 몬테카를로(MCMC) 추론 알고리즘을 개발하여 난이도가 높은 샘플링 방법보다 효율성을 향상시켰다.
• 공액 지수족 사전분포를 사용하여, 가우시안, 이진, 카운트 데이터를 포함한 비지도 행렬 분해 문제에 이 방법을 적용한다.
• 고정된 시간 예산 하에서 제어된 환경에서 L1 최소화, 연속 사전분포를 사용하는 베이지안 모델, 스파이크-슬랩 베이지안 모델 간의 성능을 비교한다.
• 과적합이 L1 기반 접근법에서 흔한 문제이므로, 하이퍼파ram터 조정을 위해 주변 가능도와 교차검증을 사용한다.

실험 결과

연구 질문

• RQ1 L1 정규화가 스파이크-슬랩 사전분포를 사용하는 베이지안 방법보다 예측 성능에서 항상 뛰어나게 작용하는가?
• RQ2 스파이크-슬랩 사전분포는 L1 및 연속 사전분포를 사용하는 베이지안 방법보다 고차원 데이터에서 진짜 희박성 구조를 더 잘 포착할 수 있는가?
• RQ3 고정된 시간 예산 하에서 MCMC 기반 스파이크-슬랩 추론의 계산 비용은 L1 최적화와 비교해 어떻게 되는가?
• RQ4 L1 및 연속 사전분포를 사용하는 베이지안 방법에서 발생하는 중요한 파라미터의 과잉 수축 문제를 스파이크-슬랩 모델이 어느 정도 피할 수 있는가?
• RQ5 어떤 상황에서 스파이크-슬랩 접근법이 데이터의 희박성과 고차원성에 대해 강인성을 보여주는가?

주요 결과

• 스파이크-슬랩 베이지안 모델은 텍스트, 이미지, 유전체학 데이터를 포함한 다양한 데이터셋에서 보류된 데이터에 대한 예측 성능에서 L1 정규화 및 연속 사전분포를 사용하는 베이지안 방법을 일관되게 뛰어넘는다.
• HapMap 데이터셋에서, 특히 요인 차원 수(K)가 높아질수록 스파이크-슬랩 모델이 L1 방법보다 유의미하게 낮은 RMSE를 달성하여 희박성에 대한 강인성을 입증한다.
• L1 수렴 시간과 동일한 고정된 시간 예산 하에서도 스파이크-슬랩 MCMC는 L1보다 더 나은 재구성을 만들어내어, 단위 시간당 정보 획득의 효율성이 뛰어나다는 것을 시사한다.
• L1 방법은 데이터 생성에 관련된 비제로 파라미터를 억제하는 전역 수축 효과로 인해 종종 성능이 떨어지며, 이로 인해 너무나 희박한 재구성이 이루어진다.
• 스파이크-슬랩 모델은 전역 수축과 국소 수축을 모두 가능하게 하여 중요한 파라미터 값을 보존하면서도 희박성을 강제함으로써 이러한 문제를 피한다.
• 재구성에서 비제로 파라미터의 수는 스파이크-슬랩 모델에서 더 정확하게 추정되었으며, 뉴스그룹스 데이터에서는 1436개의 비제로 요소를 기록하여 진짜 희박성 수준에 가깝게 유지되었고, L1은 이와 같은 구조를 회복하지 못했다.