[논문 리뷰] Fast Learning of Clusters and Topics via Sparse Posteriors

Michael C. Hughes, Erik B. Sudderth|arXiv (Cornell University)|2016. 09. 23.

Bayesian Methods and Mixture Models참고 문헌 27인용 수 7

한 줄 요약

이 논문은 각 관측치가 최대 L개의 클러스터에만 비영확률을 할당하도록 국소 사후분포를 제약하는 희소 변분 추론 방법을 제안한다. 이는 혼합모형과 토픽 모형의 학습을 예측 성능을 유지하면서도 크게 가속화한다. 특히 K > 200개의 클러스터를 가진 대규모 데이터셋에서, 밀도 있는 또는 하드-할당 기반 모델보다 더 빠른 수렴 속도와 더 높은 검증 가능도를 달성한다.

ABSTRACT

Mixture models and topic models generate each observation from a single cluster, but standard variational posteriors for each observation assign positive probability to all possible clusters. This requires dense storage and runtime costs that scale with the total number of clusters, even though typically only a few clusters have significant posterior mass for any data point. We propose a constrained family of sparse variational distributions that allow at most $L$ non-zero entries, where the tunable threshold $L$ trades off speed for accuracy. Previous sparse approximations have used hard assignments ($L=1$), but we find that moderate values of $L>1$ provide superior performance. Our approach easily integrates with stochastic or incremental optimization algorithms to scale to millions of examples. Experiments training mixture models of image patches and topic models for news articles show that our approach produces better-quality models in far less time than baseline methods.

연구 동기 및 목표

• 혼합모형과 토픽 모형에서 표준 변분 추론이 모든 K개의 클러스터에 대해 양의 확률을 할당하는 완전한 사후분포를 사용함으로써 발생하는 높은 계산 및 저장 비용 문제를 해결하기 위해.
• 각 관측치가 최대 L개의 비영 클러스터 할당만 갖는 희소 변분 사후분포를 개발하여, 더 빠른 추론과 더 낮은 메모리 사용을 가능하게 하기 위해.
• 중간 정도의 희소성(L > 1)이 밀도 있는 추론(L = K)과 하드 할당(L = 1)보다 속도와 예측 정확도 측면에서 뛰어나다는 것을 입증하기 위해.
• 기존의 변분 추론 프레임워크와 호환되면서도, 스트리밍 또는 인크리멘탈 최적화를 통해 수백만 개의 예제로의 효율적 확장이 가능하도록 하기 위해.

제안 방법

• 각 관측치의 국소 사후분포 q(z_n)가 최대 L개의 비영 성분만 갖는 제약된 변분 가족을 도입하며, 이는 책임도수의 상위 L개 선택을 통해 이루어진다.
• 표준 변분 목표함수에 각 관측치의 활성 클러스터 수를 L로 제한하는 희소성 제약을 추가하며, L은 조정 가능한 하이퍼파rameter이다.
• 효율적인 C++ 가속 선택 알고리즘(예: Blum-Floyd-Pratt)을 사용하여 상위 L개의 책임도수를 계산함으로써, 빠르고 확장 가능한 추론을 가능하게 한다.
• 평균장 변분 추론(MVI)과 스트리밍 변분 추론(SVI) 모두와 원활하게 통합되며, 인크리멘탈 및 미니배치 학습을 지원한다.
• 변분 목표함수 하에서 상위 L개 선택 절차의 최적성에 대한 증명을 제공하며, 이는 L-희소 사후분포 중에서 KL 발산을 최소화함을 보여준다.
• 지수족 분포와 콘jugate 사전분포를 사용하는 경우, 이 방법을 가우스 혼합모형과 LDA에 적용한다.

실험 결과

연구 질문

• RQ1 각 관측치가 최대 L개의 비영 클러스터 할당만 갖는 것으로 제약된 변분 사후분포를 도입함으로써, 혼합모형과 토픽 모형에서 계산 비용을 크게 줄일 수 있을까? 이는 모델 품질을 저하시키지 않는다.
• RQ2 L > 1인 최적의 값이 존재하여, L = 1(Hard 할당) 또는 L = K(밀도 있는 사후분포)보다 속도와 정확도 사이의 균형을 더 잘 맞출 수 있을까?
• RQ3 제안된 희소 변분 방법은 수십만에서 수백만 개의 관측치와 수천 개의 클러스터를 가진 대규모 데이터셋에 어떻게 스케일링되는가?
• RQ4 희소 사후분포 접근법은 아키텍처 변경 없이도 기존의 스트리밍 및 인크리멘탈 추론 프레임워크에 효율적으로 통합될 수 있을까?
• RQ5 희소 사후분포에 대해 상위 L개 선택 절차가 변분 목표함수 하에서 증명 가능한 최적 근사값을 제공하는가?

주요 결과

• K = 200개의 클러스터에서, L = 8인 L-희소 방법은 밀도 있는 추론(L = K)과 유사한 검증 가능도를 달성했지만, 360만 개의 패치 데이터셋에서 학습을 5배 이상 더 빠르게 완료했다.
• 위키피디아 데이터셋(K = 800)에서 MVI는 L = 8일 때 200초 이내에 수렴했고, 밀도 있는 추론(L = K)는 유사한 성능에 도달하기 위해 1000초 이상 소요되었다.
• 하드 할당(L = 1)은 일관되게 열등했으며, 단어-주제 모호성을 모델링할 수 있는 유연성이 부족해 조기에 정체되거나 나쁜 국소 최적점에 빠지는 경향이 있었다.
• NYTimes 데이터셋(180만 개의 기사)에서 L = 8 설정은 LightLDA와 SparseLDA보다 더 나은 또는 동일한 검증 가능도를 달성했고, 학습 속도는 3~5배 더 빨랐다.
• NYTimes에서 SVIGibbs는 S = 10개의 샘플을 사용할 때 S = 5보다 성능이 뛰어났지만, S를 10 이상으로 늘여도 추가적인 성능 향상이 없었으며, 이는 수익 감소 현상을 보였다.
• 이 방법은 큰 K에 대해 효과적으로 스케일링되었다: K > 200일 경우 LightLDA는 시간 제한 내에 성능을 따라잡지 못했고, L-희소 방법은 경쟁력 있고 더 빠른 성능 유지를 유지했다.