[논문 리뷰] Probabilistic Latent Semantic Analysis

Thomas Hofmann|arXiv (Cornell University)|2013. 01. 23.

Bayesian Modeling and Causal Inference참고 문헌 13인용 수 2,092

한 줄 요약

확률적 잠재 의미 분석(PLSA)을 소개합니다. 이는 잠재 클래스 혼합에 기반하고 과적합을 방지하기 위한 tempered EM을 기반으로 한 두 모드 데이터와 동시 발생 데이터 분석을 위한 확률 모델이며, 실험에서 표준 LSA보다 개선된 성능이 관찰되었습니다.

ABSTRACT

Probabilistic Latent Semantic Analysis is a novel statistical technique for the analysis of two-mode and co-occurrence data, which has applications in information retrieval and filtering, natural language processing, machine learning from text, and in related areas. Compared to standard Latent Semantic Analysis which stems from linear algebra and performs a Singular Value Decomposition of co-occurrence tables, the proposed method is based on a mixture decomposition derived from a latent class model. This results in a more principled approach which has a solid foundation in statistics. In order to avoid overfitting, we propose a widely applicable generalization of maximum likelihood model fitting by tempered EM. Our approach yields substantial and consistent improvements over Latent Semantic Analysis in a number of experiments.

연구 동기 및 목표

• 정보 검색, NLP 및 관련 분야에서 동시 발생 데이터 분석에 대한 확률적 접근의 필요성을 동기 부여한다.
• 잠재 클래스 모델을 기반으로 한 확률적 잠재 의미 분석 프레임워크를 개발한다.
• 최대 우도 적합의 tempered EM 변형을 통해 과적합을 해결한다.
• 다양한 과제에서 표준 잠재 의미 분석 대비 실험적 향상을 입증한다.

제안 방법

• PLSA를 두 모드 및 동시 발생 데이터에 대해 잠재 클래스 모델에서 도출된 혼합 분해로 공식화한다.
• 최대 우도 적합에서 과적합을 완화하기 위해 모델 매개변수를 추정하는 tempered EM을 적용한다.
• 정보 검색 및 NLP 관련 과제에서 PLSA와 표준 LSA를 비교하여 향상을 보인다.
• 잠재 의미 분석에 대해 원칙 있는 확률적 기초를 제공하고, 선형 대수 기반 SVD와 대조한다.
• 관련 도메인 전반에 걸친 이 접근법의 일반적인 적용 가능성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 확률적 잠재 클래스 형식이 표준 LSA보다 동시 발생 데이터 분석을 개선할 수 있는가?
• RQ2 tempered EM이 과적합을 줄이고 PLSA에서 더 강건한 매개변수 추정치를 산출하는가?
• RQ3 어떤 과제와 설정에서 PLSA가 전통적인 LSA를 능가하는가?
• RQ4 정보 검색 및 NLP 응용에 대한 확률적 접근의 실증적 영향은 무엇인가?

주요 결과

• PLSA는 잠재 클래스 모델에 기반한 잠재 의미 분석을 위한 원칙적인 확률적 프레임워크를 제공한다.
• Tempered EM은 최대 우도 적합을 일반화하고 과적합을 방지하기 위해 제안된다.
• 실험적으로 PLSA가 여러 설정에서 표준 LSA에 비해 상당하고 일관된 향상을 보인다.