[논문 리뷰] Spectral Methods for Nonparametric Models

Hsiao-Yu Fish Tung, Chao-Yuan Wu외 2명|arXiv (Cornell University)|2017. 03. 31.

Bayesian Methods and Mixture Models참고 문헌 23인용 수 3

한 줄 요약

이 논문은 스펙트럴 방법을 비모수 베이지안 모델, 특히 인디안 빵가게 과정(IBP)과 계층 디리클레 과정(HDP)에 적용하여, 고차수 모멘트 텐서와 텐서 분해를 사용해 효율적이고 통계적으로 일관된 추론을 가능하게 한다. 이 방법은 샘플링 및 변분 방법에 비해 더 빠른 계산 속도와 더 나은 가능도 성능을 달성하며, 특히 계층적 데이터 구조를 활용할 경우 유리하다.

ABSTRACT

Nonparametric models are versatile, albeit computationally expensive, tool for modeling mixture models. In this paper, we introduce spectral methods for the two most popular nonparametric models: the Indian Buffet Process (IBP) and the Hierarchical Dirichlet Process (HDP). We show that using spectral methods for the inference of nonparametric models are computationally and statistically efficient. In particular, we derive the lower-order moments of the IBP and the HDP, propose spectral algorithms for both models, and provide reconstruction guarantees for the algorithms. For the HDP, we further show that applying hierarchical models on dataset with hierarchical structure, which can be solved with the generalized spectral HDP, produces better solutions to that of flat models regarding likelihood performance.

연구 동기 및 목표

• 샘플링 또는 변분 추론으로 인해 일반적으로 느린 비모수 베이지안 모델(예: IBP 및 HDP)에 대해 계산적으로 효율적인 추론 알고리즘을 개발하는 것.
• 이전에 LDA와 같은 파rametric 모델에 사용된 스펙트럴 방법을 무한하거나 알려지지 않은 구성 요소 수를 가진 비모수 모델으로 확장하는 것.
• HDP에서 계층적 데이터 구조를 활용하여 모델 가능도를 향상시키고 불균형 데이터에서 발생하는 편향을 줄이는 것.
• 측도의 집중 및 텐서 분해를 사용해 잠재 요인 회복과 안정성에 대한 이론적 보장을 제공하는 것.
• 스펙트럴 방법이 실제 세계 데이터 세트에서 속도와 가능도 성능 측면에서 샘플링 및 변분 추론을 능가할 수 있음을 보여주는 것.

제안 방법

• IBP와 HDP의 저차수 이론적 모멘트(최대 4차까지)를 유도하여 분해 가능한 대칭 텐서를 구성하는 것.
• 초고차 텐서의 안정적인 텐서 분해를 가능하게 하기 위해, 초과 상관 분석(ECA)을 사용해 텐서를 백색화하고 차원을 감소시키는 것.
• empirical 텐서를 잠재 요소와 고유값으로 대칭적으로 분해하기 위해 파wr 메서드를 적용하는 것.
• HDP의 경우, 임의의 계층적 트리 구조로 텐서 구성 방식을 일반화하여 그룹화된 데이터의 다층 모델링을 가능하게 하는 것.
• 특히 대규모 데이터 세트에서 계산을 가속화하기 위해 빠른 카운트 스케치 텐서 분해(FC)를 활용하는 것.
• 실제 데이터 추론을 위해 이론적 모멘트 대신 경험적 모멘트를 사용해 경험적 텐서를 구성하는 것.

실험 결과

연구 질문

• RQ1 고정된 구성 요소 수가 없는 비모수 모델인 IBP 및 HDP에 대해 스펙트럴 방법을 효과적으로 확장할 수 있는가?
• RQ2 IBP와 같이 3차 텐서가 열화된 모델에서 3차 이상의 고차수 모멘트 텐서를 어떻게 구성하고 분해할 수 있는가?
• RQ3 HDP에 계층적 데이터 구조를 통합하면 평탄한 모델에 비해 가능도 성능이 향상되는가?
• RQ4 스펙트럴 알고리즘이 실제 세계 데이터 세트에서 속도와 가능도 측면에서 샘플링 및 변분 추론을 능가할 수 있는가?
• RQ5 비모수 모델에서 스펙트럴 추론을 사용할 때 잠재 요소의 회복과 안정성에 대해 어떤 이론적 보장이 존재하는가?

주요 결과

• 빠른 카운트 스케치(FC)를 사용한 HDP에 대한 스펙트럴 알고리즘은 Enron 데이터 세트에서 100개의 주제와 3층 구조를 사용할 때 단어당 가능도 8.18을 달성하여 변분 및 샘플링 기반 기준선을 능가했다.
• 멀티도메인 감성 분석 데이터 세트에서 3층 스펙트럴 HDP 모델은 K=50일 때 불균형 데이터에서 가능도 8.17을 기록했으며, 평탄한 모델에 비해 뚜렷하게 뛰어난 성능을 보였다.
• 계층적 구조를 통합한 스펙트럴 방법은 불균형 데이터에서의 편향을 줄였으며, 외부 이메일이나 저조도 제품 카테고리와 같은 소수 집단에 대한 성능 향상을 이끌었다.
• 알고리즘은 높은 속도를 기록했으며, FC 변종은 Enron 데이터 세트에서 추론을 2분 이내에 완료했고, MCMC 샘플러는 수 시간이 소요되었다.
• 경험적 결과는 스펙트럴 방법이 변분 추론 및 MCMC에 비해 더 높은 가능도와 더 빠른 수렴 속도를 제공함을 보여주었으며, 특히 대규모 및 구조화된 데이터에서 두드러졌다.
• 이론적 농도 경계는 온건한 정규성 조건 하에 잠재 요소와 모델 파라미터의 안정적이고 일관된 회복을 확인했다.