[논문 리뷰] Dynamic Word Embeddings

Robert Bamler, Stephan Mandt|arXiv (Cornell University)|2017. 02. 27.

Topic Modeling참고 문헌 7인용 수 108

한 줄 요약

확산 선험(prior)과 변분 추론을 사용하여 시간에 걸친 연속 단어 임베딩 궤적을 학습하는 확률적 동적 skip-gram 모델로, 더 매끄럽고 시간 의존적인 단어 의미 변화를 가능하게 한다.

ABSTRACT

We present a probabilistic language model for time-stamped text data which tracks the semantic evolution of individual words over time. The model represents words and contexts by latent trajectories in an embedding space. At each moment in time, the embedding vectors are inferred from a probabilistic version of word2vec [Mikolov et al., 2013]. These embedding vectors are connected in time through a latent diffusion process. We describe two scalable variational inference algorithms--skip-gram smoothing and skip-gram filtering--that allow us to train the model jointly over all times; thus learning on all data while simultaneously allowing word and context vectors to drift. Experimental results on three different corpora demonstrate that our dynamic model infers word embedding trajectories that are more interpretable and lead to higher predictive likelihoods than competing methods that are based on static models trained separately on time slices.

연구 동기 및 목표

• 시간의 타임스탬프가 있는 텍스트에서 개별 단어의 의미 진화를 포착한다.
• 시간별 임베딩을 잠재 확산 과정과 연결하여 임베딩을 순차 데이터로 확장한다.
• 모든 시간 단계에서 함께 학습하기 위해 필터링 및 스무딩이라는 확장 가능한 추론 알고리즘을 개발한다.
• 정적이고 시간으로 잘게 구분된 베이스라인 대비 해석 가능성과 예측 가능도 향상을 보여준다.

제안 방법

• 스킵-그램을 두 개의 임베딩 벡터(u_i와 v_j)를 가진 동적 설정으로 일반화한다.
• 정확한 priors를 가진 확산 과정과 Ornstein-Uhlenbeck 감쇠를 사용하여 시간 진화를 모델링한다.
• 두 가지 확장 가능한 변분 추론 알고리즘: skip-gram 필터링과 skip-gram 스무딩을 사용한다.
• 역매개적 재매개화를 통한 블랙박스 변분 추론과 구조화된 시간 도메인 변분 분포를 구현한다.
• 스무딩에서 과거 시간과 미래 시간 간의 상관을 포착하기 위해 삼중대각 정밀도를 가진 인자 분리 시간 시퀀스 가우시안으로 사용한다.
• 대규모 말뭉치(Google Books, State of the Union, Twitter)에서 평가하고 예측 가능도를 정적 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 단어 임베딩 궤적을 시간의 별도 구간이 아니라 연속적으로 학습할 수 있는가?
• RQ2 동적 임베딩이 정적이고 시간으로 잘라진 모델보다 더 매끄러운 궤적과 해석 가능한 의미 변화를 제공하는가?
• RQ3 시간 간 정보를 공유하면 특히 작은 시간 조각에서 보류 데이터에 대한 예측 성능이 향상되는가?
• RQ4 다양한 추론 체계(필터링 대 스무딩)가 의미 진화를 추적하는 데 있어 어떤 차이를 보이는가?
• RQ5 동적으로 긴 시간 span에 걸쳐 모델링할 때 가장 큰 의미 변화를 보이는 단어는 무엇인가?

주요 결과

• 동적 skip-gram 모델은 정적 베이스라인보다 단어 궤적이 더 매끄럽게 나타난다.
• 동적 필터링과 스무딩은 정적 모델보다 보류된 예측 가능도가 더 높으며, 특히 더 작은 말뭉치에서 그렇다.
• 임베딩 궤적은 기술적으로 관련된 단어들의 변화와 같이 해석 가능한 의미 변화를 드러내며, 급격한 점프보다는 점진적인 움직임을 보인다.
• 스무딩(DSG-S)은 과거와 미래의 시간 단계를 모두 활용하여 일반적으로 필터링(DSG-F)보다 더 잘 작동한다.
• 이 방법은 긴 시간 범위에 걸친 상당한 의미 기 drift을 가진 단어를 자동으로 식별할 수 있게 한다.