[논문 리뷰] Progressive EM for Latent Tree Models and Hierarchical Topic Detection

Peixian Chen, Nevin L. Zhang외 2명|arXiv (Cornell University)|2015. 08. 05.

Advanced Text Analysis Techniques인용 수 3

한 줄 요약

이 논문은 계층적 주제 탐지에 효과적으로 작용하는 Hierarchical Latent Tree Analysis (HLTA)의 계산 속도를 향상시키기 위해 Progressive EM (PEM)을 제안한다. LDA 기반 모델보다 주제 일관성과 계층 구조 품질에서 뛰어난 성능을 보이며, 표준 EM 대신 순간법에 영감을 얻은 단계적이고 局소적인 매개변수 추정 전략을 도입함으로써 PEM-HLTA는 HLTA 대비 40배 빠른 속도를 달성한다. NIPS 데이터셋을 4분 만에 처리한 반면, HLTA는 17시간이 소요되었으며, 이는 모델 적합도와 주제 품질을 유지하거나 초월함과 동시에 대규모 데이터에서 최신 LDA 기반 모델인 nHDP보다도 효율성과 주제 일관성 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Hierarchical latent tree analysis (HLTA) is recently proposed as a new method for topic detection. It differs fundamentally from the LDA-based methods in terms of topic definition, topic-document relationship, and learning method. It has been shown to discover significantly more coherent topics and better topic hierarchies. However, HLTA relies on the Expectation-Maximization (EM) algorithm for parameter estimation and hence is not efficient enough to deal with large datasets. In this paper, we propose a method to drastically speed up HLTA using a technique inspired by recent advances in the moments method. Empirical experiments show that our method greatly improves the efficiency of HLTA. It is as efficient as the state-of-the-art LDA-based method for hierarchical topic detection and finds substantially better topics and topic hierarchies.

연구 동기 및 목표

• HLTA의 계산 비효율성 문제를 해결하기 위해, 매개변수 추정에 느린 Expectation-Maximization (EM)을 사용하는 점을 개선하고, 대규모 데이터셋에서의 성능을 향상시키기 위함이다.
• 주제 품질이나 계층적 구조의 정확성에 손상을 주지 않으면서도 HLTA의 확장성을 향상시키기 위함이다.
• 표준 EM의 대안으로서, 모델 적합도를 유지하면서도 잠재 트리 모델의 학습 시간을 극적으로 단축시킬 수 있는 더 빠른 방법을 개발하기 위함이다.
• 30만 개의 기사가 포함된 뉴욕타임스 데이터셋과 같은 대규모 문서 컬렉션에서 HLTA의 실용적 적용을 가능하게 하기 위함이다.
• PEM-HLTA가 nHDP와 같은 최신 LDA 기반 모델과 비교해도 속도와 주제 일관성 면에서 동등하거나 뛰어난 성능을 보임을 입증하기 위함이다.

제안 방법

• PEM은 표준 EM을 대체하여, 매개변수를 세부적으로 작은 그룹으로 나누어 세 단계나 네 개의 관측 변수와 관련된 부분 집합에 국한해 점진적으로 추정하는 방식을 사용한다.
• 이 방법은 관측 변수의 저순서 모멘트를 포함하는 식을 통해 매개변수를 해법으로 구하는 순간법에 영감을 받았으며, 이로 인해 계산 복잡도가 감소한다.
• PEM-HLTA는 두 단계로 구성된다: 계층적 모델 구축 및 국소적 매개변수 그룹에 대해 EM 유사 업데이트를 적용하는 점진적 매개변수 추정.
• 알고리즘은 이진 잠재 변수로 구성된 계층적 주제 클러스터를 형성하는 잠재 트리 모델(LTM)의 트리 구조 베이지안 네트워크 표현을 사용한다.
• 대규모 데이터셋에서의 확장성을 위해 데이터를 미니배치로 처리하고 다중 반복을 통해 점진적으로 매개변수를 업데이트하는 스토하스틱 EM을 적용한다.
• empirical 평가를 통해 확인된 linely, PEM-HLTA는 표준 EM과 유사한 문서별 로그우도 값을 유지함으로써 모델 적합도를 유지한다.

실험 결과

연구 질문

• RQ1 점진적 EM 접근법이 주제 일관성이나 모델 적합도를 떨어뜨리지 않고도 HLTA의 학습 시간을 크게 줄일 수 있는가?
• RQ2 대규모 텍스트 데이터에서 PEM-HLTA는 nHDP와 같은 최신 LDA 기반 모델과 비교해 주제 품질과 계층적 구조 면에서 어떻게 성능을 내는가?
• RQ3 점진적 매개변수 추정 전략이 계산 효율성을 향상시키는 동안 모델 가능도를 얼마나 잘 유지하는가?
• RQ4 PEM-HLTA는 30만 개의 기사와 1만 개의 단어를 포함한 뉴욕타임스 코퍼스와 같은 대규모 데이터셋에 어떻게 스케일링할 수 있는가?
• RQ5 PEM-HLTA의 두 번째 단계에서 스토하스틱 EM을 사용할 경우, 거대한 데이터셋에서 런타임을 추가로 단축시키면서도 성능을 유지할 수 있는가?

주요 결과

• NIPS 데이터셋(1,000단어, 2,000건 이내 문서)에 대해 PEM-HLTA는 HLTA의 17시간에서 4분으로 학습 시간을 단축시켜 255배의 성능 향상을 달성했다.
• 더 큰 News-5k 데이터셋(10,000단어)에서는 PEM-HLTA가 365분 내로 완료되었고, HLTA는 3일이 넘도록 종료되지 않았다. 이는 훨씬 뛰어난 확장성을 보여준다.
• PEM-HLTA는 nHDP와 hLDA를 포함한 모든 기준 모델보다 높은 평균 주제 일관성 점수를 기록했으며, 뉴욕타임스 데이터셋에서 -12.86의 점수를 기록해 nHDP의 -13.35보다 뛰어났다.
• Nips-1k에서 PEM-HLTA의 문서별 로그우도 값은 HLTA와 거의 동일했다(예: -390 대비 -391), 이는 모델 적합도가 유지됨을 확인한다.
• 뉴욕타임스 데이터셋에서 PEM-HLTA는 11시간(670분)에 실행되었고, nHDP(10.5시간)보다 略로 느렸지만, 훨씬 더 높은 일관성과 더 나은 주제 계층을 생성했다.
• 대규모 데이터에서 CorEx, hLDA, nHDP보다 주제 일관성과 모델 적합도 면에서 뛰어나며, HLTA와 CorEx보다도 효율성이 뛰어나다.