[논문 리뷰] On some provably correct cases of variational inference for topic models

Pranjal Awasthi, Andrej Risteski|arXiv (Cornell University)|2015. 03. 23.

Machine Learning and Algorithms참고 문헌 19인용 수 8

한 줄 요약

이 논문은 주제 모델에 대한 변분 추론이 주제-단어 행렬과 주제 사전확률에 대한 자연스러운 가정 하에 전역 최적해로 수렴함을 처음으로 이론적으로 분석하여 증명한다. 저자들은 변분 업데이트를 진짜값의 노이즈가 섞인 볼록 조합으로 간주하는 새로운 비표준 증명 기법을 사용하여, 지지 기반 또는 시딩 초기화와 같은 자연스럽고 실용적인 방법으로 초기화할 경우 수렴 보장을 명시적으로 확보한다.

ABSTRACT

Variational inference is a very efficient and popular heuristic used in various forms in the context of latent variable models. It's closely related to Expectation Maximization (EM), and is applied when exact EM is computationally infeasible. Despite being immensely popular, current theoretical understanding of the effectiveness of variaitonal inference based algorithms is very limited. In this work we provide the first analysis of instances where variational inference algorithms converge to the global optimum, in the setting of topic models. More specifically, we show that variational inference provably learns the optimal parameters of a topic model under natural assumptions on the topic-word matrix and the topic priors. The properties that the topic word matrix must satisfy in our setting are related to the topic expansion assumption introduced in (Anandkumar et al., 2013), as well as the anchor words assumption in (Arora et al., 2012c). The assumptions on the topic priors are related to the well known Dirichlet prior, introduced to the area of topic modeling by (Blei et al., 2003). It is well known that initialization plays a crucial role in how well variational based algorithms perform in practice. The initializations that we use are fairly natural. One of them is similar to what is currently used in LDA-c, the most popular implementation of variational inference for topic models. The other one is an overlapping clustering algorithm, inspired by a work by (Arora et al., 2014) on dictionary learning, which is very simple and efficient. While our primary goal is to provide insights into when variational inference might work in practice, the multiplicative, rather than the additive nature of the variational inference updates forces us to use fairly non-standard proof arguments, which we believe will be of general interest.

연구 동기 및 목표

• 변분 추론이 널리 사용되고 있음에도 불구하고 주제 모델에서 이론적 보장이 부족한 문제를 해결하기 위해.
• 변분 추론이 진짜 모델 파라미터로 수렴하는 조건을 규명하기 위해.
• 변분 업데이트의 곱셈적 성격을 고려한 수렴 동역학에 대한 공식적 분석을 제공하기 위해.
• 기존 구현과 군집 히우리스틱에 영감을 받은 현실적인 초기화 전략을 사용하여 수렴을 증명하기 위해.
• 잠재변수 모델에서 변분 추론의 실용적 성공과 이론적 이해 사이의 격차를 메우기 위해.

제안 방법

• 진짜값 파라미터와 유한 오차 항을 조합하는 반복 업데이트로 변분 추론을 모델링하며, 시간이 지남에 따라 진짜값 가중치가 우세해지도록 한다.
• 각 업데이트 단계를 진짜값과 추정 오차의 노이즈가 섞인 볼록 조합으로 간주하고, 모델 가정을 활용해 오차 감소를 보장한다.
• 스pars티 및 지배성 가정에서 유도된 주제별 '국지적' 앵커 단어와 앵커 문서 개념을 도입한다.
• 임계값이 적용된 업데이트를 사용한 KL 발산의 교차 최소화를 통해 수렴을 안정화하고 국소 최적해를 피한다.
• 체르노프 경계와 농도 불등식을 적용하여 경험적 주변확률이 진짜 주변확률을 근사하기 위해 필요한 문서 수를 추정한다.
• 두 가지 초기화 전략을 설계한다: 하나는 지지 식별 기반(=LDA-c 유사), 다른 하나는 겹치는 군집 기반(=Arora 등 2014년 연구에 영감을 받은 시딩 초기화).

실험 결과

연구 질문

• RQ1 주제 모델에 대한 변분 추론이 어떤 조건에서 전역 최적해로 증명 가능하게 수렴하는가?
• RQ2 변분 추론의 곱셈적 업데이트 구조는 비표준 증명 기법을 통해 어떻게 분석할 수 있는가?
• RQ3 초기화가 진짜 모델 파라미터로의 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ4 주제-단어 행렬의 스파arsity와 지배성은 어떻게 주제 구조의 증명 가능 복원을 가능하게 하는가?
• RQ5 경험적 주변확률이 진짜 주변확률을 높은 확률로 근사하기 위해 필요한 표본 복잡도(문서 수)는 얼마인가?

주요 결과

• 주제-단어 행렬과 주제 사전확률에 대한 자연스러운 가정 하에 변분 추론은 진짜 주제 모델 파라미터로 증명 가능하게 수렴한다.
• 지지 기반 또는 시딩 초기화를 사용할 경우 수렴이 보장되며, 이는 실용적이고 구현에서 널리 사용되는 방법들이다.
• 분석 결과, 모델 가정으로 인해 진짜값에 대한 지배적 가중치가 발생함에 따라 변분 업데이트의 오차 항이 시간이 지남에 따라 감소함을 보여준다.
• 고확률로, 주도 문서에서 경험적 주제 비율은 $ D = \Omega\left(\frac{K\log^2 K}{\epsilon^2}\right) $ 개 이상의 문서가 있을 경우 진짜 비율로 수렴한다.
• 구분 단어의 경우, 일반 단어가 존재하더라도 고확률로 그 주제 지지 집합과 지배 주제를 정확히 식별한다.
• 이론적 경계는 $ D_{i,jS} \geq D_i(1-\epsilon)(1-o(1)) $ 개의 문서가 존재함을 보여주며, 여기서 주제가 지배적이며 구분 단어가 오직 그 주제에서만 나타나므로 신뢰할 수 있는 식별이 보장된다.