[논문 리뷰] Kernel Topic Models

Philipp Hennig, David Stern외 2명|arXiv (Cornell University)|2011. 10. 21.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 33

한 줄 요약

이 논문은 문서의 주제 비율을 힐버트 공간의 문서 특징에 대한 가우시안 프로세스로 모델링함으로써 LDA를 일반화하는 확률적 프레임워크인 커널 토픽 모델(KTM)을 소개한다. 이는 시간, 공간, 사회적 메타데이터의 비선형적이고 구조적인 모델링을 가능하게 한다. 방법은 변환된 기저에서 라플라스 근사를 사용하여 효율적인 근사 추론을 수행하며, 선형 모델에 비해 더 높은 모델링 유연성을 확보하면서도 중간 크기의 코퍼스에서 경쟁적인 성능을 기록한다.

ABSTRACT

Latent Dirichlet Allocation models discrete data as a mixture of discrete distributions, using Dirichlet beliefs over the mixture weights. We study a variation of this concept, in which the documents' mixture weight beliefs are replaced with squashed Gaussian distributions. This allows documents to be associated with elements of a Hilbert space, admitting kernel topic models (KTM), modelling temporal, spatial, hierarchical, social and other structure between documents. The main challenge is efficient approximate inference on the latent Gaussian. We present an approximate algorithm cast around a Laplace approximation in a transformed basis. The KTM can also be interpreted as a type of Gaussian process latent variable model, or as a topic model conditional on document features, uncovering links between earlier work in these areas.

연구 동기 및 목표

• 기존의 LDA를 시간, 저자, 사회망 등 구조적 메타데이터를 선형 또는 점추정 방식을 초월해 주제 모델링에 통합함으로써 확장하기 위해.
• 가우시안 프로세스를 사용하여 힐버트 공간 상의 함수로 주제 분포를 모델링함으로써 문서 간 비선형적이고 복잡한 의존성 관계를 가능하게 하기 위해.
• 잠재 가우시안 프로세스에 대한 후행 분포의 비가역적 계산 문제를 해결하기 위해 효율적인 추론 알고리즘을 개발하기 위해.
• 주제 모델링과 가우시안 프로세스 잠재변수 모델을 통합하여 베이지안 불확실성 추정과 일관된 초모수 학습을 가능하게 하기 위해.

제안 방법

• 문서 d의 주제 비율 πd를 잠재 가우시안 프로세스 h(φd)의 소프트맥스 변환으로 모델링하며, 여기서 φd는 힐버트 공간 H의 특징이다.
• 함수 h(φ)에 대해 가우시안 프로세스 사전분포를 적용하며, 커널 함수 ηk로 정의된 평균 및 공분산 함수를 사용하여 특징에 대한 비선형 회귀를 가능하게 한다.
• 잠재 가우시안 변수의 비가역적 후행 분포를 근사하기 위해 변환된 기저에서 라플라스 근사를 적용하여 효율적인 변분 추론을 가능하게 한다.
• 주제 모델링과 가우시안 프로세스 잠재변수 모델의 하이브리드 모델로 모델을 재구성함으로써 주제 모델링과 비모수적 회귀를 연결한다.
• 문서 수준의 후행 분포와 초모수를 반복 최적화하는 변분 추론 프레임워크를 사용하며, 커널 초모수는 매 10회 반복마다 갱신한다.
• 시간적 및 저자 기반의 구조를 모델링하기 위해 유리함수 커널과 원형 기저 함수를 사용한다.

실험 결과

연구 질문

• RQ1 주제 모델링에서 문서 메타데이터와 주제 분포 간의 비선형적 관계를 모델링할 수 있는가?
• RQ2 시간, 위치, 사회망과 같은 구조적 메타데이터를 효과적으로 주제 모델링에 통합하기 위해 가우시안 프로세스 사전분포를 어떻게 적용할 수 있는가?
• RQ3 잠재 가우시안 프로세스를 포함한 비공액, 비선형 주제 모델에서 효율적인 근사 후행 분포 계산을 가능하게 하는 추론 방법은 무엇인가?
• RQ4 커널 토픽 모델의 성능은 퍼즐러피티 및 수렴 속도 측면에서 선형 모델(DMR 등)과 기준 LDA에 비해 어떻게 비교되는가?
• RQ5 소프트맥스 기저에서의 라플라스 근사는 주제 모델링에서 점추정 대신 계산적으로 효율적이고 베이지안적인 대안을 제공할 수 있는가?

주요 결과

• 상의의 연설 기록 데이터셋에서 커널 토픽 모델은 수렴 속도가 유사하나, 디리클레-다항 회귀(DMR) 기준보다 최종 퍼즐러피티 점수가 약 12% 낮게 기록하였다.
• 위키백과 그래프 데이터셋에서는 단어 수준 이외의 업데이트로 인해 초모수 최적화 중 일시적인 퍼즐러피티 상승이 관찰되었으나, 이후 더 나은 표현으로 복구되었다.
• NIPS 데이터셋 결과에서는 초모수 최적화 이후 퍼즐러피티가 크게 향상되어, 복잡한 데이터 구조에 적응할 수 있는 모델의 능력을 입증하였다.
• 라플라스 근사는 효율적인 추론을 가능하게 하며, 이전 연구에서 사용된 점추정 대신 전체 베이지안 불확실성 정량화를 지원한다.
• 모델의 계산 비용은 문서 수의 세제곱에 비례하므로 매우 큰 코퍼스에는 스케일이 떨어지지만, 중간 크기의 구조적 데이터셋에는 매우 효과적이다.
• 모든 테스트 데이터셋에서 커널 모델은 일정 및 선형 모델을 모두 능가하였으며, 특히 메타데이터의 구조가 비선형적이거나 복잡할 경우 두드러진 성능 향상을 보였다.