[논문 리뷰] Latent Topic Models for Hypertext

Amit Gruber, Michal Rosen‐Zvi외 1명|arXiv (Cornell University)|2012. 06. 13.

Topic Modeling참고 문헌 5인용 수 10

한 줄 요약

이 논문은 문서의 주제 빈도와 문서의 인-degree에 기반하여 링크 생성을 명시적으로 모델링하는 새로운 확률적 생성 모델을 제안한다. 기존의 링크를 단어와 유사하게 간주하는 방식과는 달리, 링크를 주제 유사성과 문서의 인-degree에 따라 결정함으로써, 모델의 자유 매개변수 수를 줄이고 링크 예측 성능을 향상시킨다.

ABSTRACT

Latent topic models have been successfully applied as an unsupervised topic discovery technique in large document collections. With the proliferation of hypertext document collection such as the Internet, there has also been great interest in extending these approaches to hypertext [6, 9]. These approaches typically model links in an analogous fashion to how they model words - the document-link co-occurrence matrix is modeled in the same way that the document-word co-occurrence matrix is modeled in standard topic models. In this paper we present a probabilistic generative model for hypertext document collections that explicitly models the generation of links. Specifically, links from a word w to a document d depend directly on how frequent the topic of w is in d, in addition to the in-degree of d. We show how to perform EM learning on this model efficiently. By not modeling links as analogous to words, we end up using far fewer free parameters and obtain better link prediction results.

연구 동기 및 목표

• 기존 주제 모델이 문서-단어 공존 행렬 내에서 링크를 단어와 유사하게 간주하는 데서 비롯하는 한계를 해결하기 위해.
• 링크 생성 과정을 명시적으로 캡처함으로써, 하이퍼텍스트 문서 컬렉션을 더 정확하고 효율적으로 모델링할 수 있는 방법을 개발하기 위해.
• 단어-링크 유사성에 기반하지 않음으로써, 하이퍼텍스트 주제 모델의 자유 매개변수 수를 줄이기 위해.
• 링크 생성의 원리적인 생성 모델을 통해 링크 예측 성능을 향상시키기 위해.

제안 방법

• 링크가 단어에서 문서로 이어지는 방식이 문서 내 단어의 주제 빈도와 문서의 인-degree에 의해 결정되는 생성 모델을 제안한다.
• 링크 생성을 대상 문서의 주제 분포와 문서의 인-degree에 조건부로 의존하게 모델링하며, 링크를 단어와 함께 공존하는 것으로 간주하지 않는다.
• 확장 가능한 하이퍼텍스트 컬렉션에서의 추론을 가능하게 하기 위해 효율적인 매개변수 학습을 위한 EM 알고리즘을 적용한다.
• 주제 할당이 Dirichlet 사전 분포에서 유도되는 단어, 주제, 링크의 공동 확률 모델을 도입한다.
• EM 알고리즘의 E단계에서 주제 할당과 링크 확률을 추정하기 위해 복잡한 게이브스 샘플링의 변형을 사용한다.
• 링크 예측을 후행 작업으로 간주하며, AUC와 정밀도 지표를 통해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 링크를 단어와 유사하게 간주하는 것보다 하이퍼텍스트의 링크 구조를 더 정확히 어떻게 모델링할 수 있는가?
• RQ2 주제 유사성과 인-degree를 명시적으로 모델링할 경우 링크 예측 성능에 어떤 영향을 미치는가?
• RQ3 단어-링크 유사성에 기반하지 않는 생성 모델은 성능 향상과 함께 자유 매개변수 수를 줄일 수 있는가?
• RQ4 기존 주제 모델을 하이퍼텍스트에 확장한 것과 비교할 때, 제안된 모델은 링크 예측 정확도에서 어떤가?
• RQ5 문서의 인-degree는 주제 모델링 프레임워크 내에서 링크 예측 성능 향상에 어떤 역할을 하는가?

주요 결과

• 제안된 모델은 링크를 단어와 유사하게 간주하는 모델보다 유의미하게 뛰어난 링크 예측 성능을 달성한다.
• 주제 빈도와 인-degree에 기반하여 링크를 모델링함으로써, 단어-링크 유사성 접근 방식보다 자유 매개변수 수를 줄일 수 있다.
• 기준 하이퍼텍스트 데이터셋에서 링크 예측 작업에서 AUC와 정밀도가 향상됨을 입증한다.
• EM 기반 학습 절차는 효율적으로 수렴하여 대규모 하이퍼텍스트 컬렉션에 적용 가능하다.
• 링크의 명시적 생성 모델링은 간접적인 단어 공존 모델링보다 더 해석 가능하고 정확한 예측을 이끈다.