[논문 리뷰] The Author-Topic Model for Authors and Documents

Michal Rosen‐Zvi, Thomas L. Griffiths외 2명|arXiv (Cornell University)|2012. 07. 11.

Topic Modeling참고 문헌 4인용 수 99

한 줄 요약

이 논문은 저자-주제 모델을 제안하며, LDA를 확장하여 저자와 주제 분포를 연관지켜 문서의 저자성과 주제 구조를 동시에 모델링할 수 있도록 한다. NIPS와 CiteSeer 데이터셋에서 게이블스 샘플링을 사용하여, 주제 복원 성능과 새로운 응용 분야인 저자 유사도 측정 및 출력 엔트로피 측정 등에서 LDA와 단순한 저자-단어 모델보다 뛰어난 성능을 보였다.

ABSTRACT

We introduce the author-topic model, a generative model for documents that extends Latent Dirichlet Allocation (LDA; Blei, Ng, & Jordan, 2003) to include authorship information. Each author is associated with a multinomial distribution over topics and each topic is associated with a multinomial distribution over words. A document with multiple authors is modeled as a distribution over topics that is a mixture of the distributions associated with the authors. We apply the model to a collection of 1,700 NIPS conference papers and 160,000 CiteSeer abstracts. Exact inference is intractable for these datasets and we use Gibbs sampling to estimate the topic and author distributions. We compare the performance with two other generative models for documents, which are special cases of the author-topic model: LDA (a topic model) and a simple author model in which each author is associated with a distribution over words rather than a distribution over topics. We show topics recovered by the author-topic model, and demonstrate applications to computing similarity between authors and entropy of author output.

연구 동기 및 목표

• 저자, 주제, 문서의 결합 분포를 저자성 정보를 주제 모델링에 통합함으로써 모델링하기 위해.
• 문서 컬렉션 내의 저자 정보를 활용하여 주제 모델링 정확도를 향상시키기 위해.
• 저자 주제 다양성 측정 및 저자 유사도 측정과 같은 새로운 분석 기능을 가능하게 하기 위해.
• 실제 학술 텍스트 데이터셋에서 LDA 및 저자-단어 모델에 비해 모델의 우수성을 입증하기 위해.
• 저자 메타데이터가 포함된 대규모 문서 컬렉션에 대해 확장 가능한 추론 방법을 제공하기 위해.

제안 방법

• 각 저자는 주제에 대한 다항분포와 연관되며, 각 주제도 단어에 대한 다항분포와 연관된다.
• 다수의 저자가 참여한 문서는 기여한 저자들의 주제 분포의 혼합으로 모델링된다.
• 대규모 데이터셋에서 정확한 추론이 불가능하므로 근사 추론을 위해 게이블스 샘플링을 사용한다.
• 주제 및 저자 분포를 추정하기 위해 1,700개의 NIPS 논문과 160,000개의 CiteSeer 초록을 기반으로 모델을 훈련한다.
• 모델은 LDA(주제 중심) 및 단순한 저자-단어 모델(저자에서 단어로의 연결)을 특수한 경우로 일반화한다.
• 저자-주제 및 주제-단어 분포에서 유도된 조건부 확률을 기반으로 주제 할당을 반복적으로 재표본화한다.

실험 결과

연구 질문

• RQ1 주제 모델에 저자 정보를 통합하면 주제 복원 및 문서 표현 성능이 향상되는가?
• RQ2 저자-주제 모델은 LDA 및 기본적인 저자-단어 모델에 비해 성능에서 어떻게 비교되는가?
• RQ3 이 모델은 저자 유사도나 출력 엔트로피 측정과 같은 새로운 응용 분야를 가능하게 하는가?
• RQ4 이 모델은 저자 메타데이터가 포함된 대규모 학술 문서 컬렉션에 대해 확장 가능한가?
• RQ5 이 모델은 저자 주제 분포 및 문서 구성에 대해 어떤 통찰을 드러내는가?

주요 결과

• 저자-주제 모델은 NIPS 및 CiteSeer 데이터셋 양쪽 모두에서 LDA 및 저자-단어 모델보다 더 나은 주제 복원 성능을 달성했다.
• 모델은 각 저자마다 구분되는 주제 선호도를 성공적으로 포착하여 의미 있는 저자 유사도 측정을 가능하게 했다.
• 출력 엔트로피는 주제 다양성의 척도로 효과적으로 계산되었으며, 저자들의 주제 일관성 패턴을 드러냈다.
• 게이블스 샘플링은 저자 정보가 포함된 대규모 문서 컬렉션에 대해 확장 가능한 추론 솔루션을 제공했다.
• 저자-주제 연관성은 주제 중심 또는 저자 중심 접근 방식을 초월해 문서 모델링을 크게 향상시킴을 입증했다.
• 결과는 저자성 정보가 다수의 저자로 구성된 문서 컬렉션에서 주제 모델링을 특히 향상시킴을 확인했다.