[논문 리뷰] Exponential Family Embeddings

Maja Rudolph, Francisco J. R. Ruiz외 2명|arXiv (Cornell University)|2016. 08. 02.

Family Dynamics and Relationships인용 수 74

한 줄 요약

이 논문은 신경 활동, 마켓 바스켓 데이터, 영화 평점과 같은 다양한 데이터 유형으로의 워드 임베딩 일반화를 위한 지수족 임베딩(ef-emb)을 소개한다. 각 관측치를 조건부로 그 맥락에 기반하여 지수족 분포와 공유되는 잠재 벡터를 사용해 모델링함으로써, 기존의 차원 축소 방법(예: 포아송 인자분해, 지수족 PCA)에 비해 더 뛰어난 데이터 복원성과 해석 가능한 의미적 구조를 발견한다.

ABSTRACT

Word embeddings are a powerful approach for capturing semantic similarity among terms in a vocabulary. In this paper, we develop exponential family embeddings, a class of methods that extends the idea of word embeddings to other types of high-dimensional data. As examples, we studied neural data with real-valued observations, count data from a market basket analysis, and ratings data from a movie recommendation system. The main idea is to model each observation conditioned on a set of other observations. This set is called the context, and the way the context is defined is a modeling choice that depends on the problem. In language the context is the surrounding words; in neuroscience the context is close-by neurons; in market basket data the context is other items in the shopping cart. Each type of embedding model defines the context, the exponential family of conditional distributions, and how the latent embedding vectors are shared across data. We infer the embeddings with a scalable algorithm based on stochastic gradient descent. On all three applications - neural activity of zebrafish, users' shopping behavior, and movie ratings - we found exponential family embedding models to be more effective than other types of dimension reduction. They better reconstruct held-out data and find interesting qualitative structure.

연구 동기 및 목표

• 자연어를 초월해 신경 기록, 거래 데이터, 평점과 같은 고차원 데이터 유형으로 워드 임베딩의 성공을 확장하기 위해.
• 각 데이터 포인트를 맥락에 조건부로 의존하는 방식으로 모델링하기 위해 지수족 분포를 사용하는 통합 프레임워크를 개발하기 위해.
• 스토캐스틱 그래디언트 하강법을 통해 스케일러블한 잠재 표현 학습을 가능하게 하여 다양한 데이터 모odal리티에 적용 가능하게 하기 위해.
• ef-emb가 기존의 인자분해 방법에 비해 더 뛰어난 의미적 구조를 포착함을 보여주기 위해, 예를 들어 쇼핑 데이터에서의 대체품 및 보완재 또는 영화 평점에서의 주제적 토픽을 포함한 의미적으로 해석 가능한 구조를 발견하기 위해.
• 다양한 실제 데이터 세트에서 보류된 데이터를 복원하는 데 있어 기존의 차원 축소 기법보다 ef-emb가 더 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 데이터 유형과 문제 맥락에 따라 이웃하는 단어, 인접한 뉴런, 또는 함께 구매된 항목과 같은 맥락을 각 관측치에 정의하기 위해.
• 실수형 데이터에는 가우시안, 카운트 데이터에는 포아송, 이진 평점에는 베르누이와 같은 조건부 지수족 분포를 사용하여 맥락에 기반한 각 관측치를 모델링하기 위해.
• 잠재 임베딩 벡터와 맥락 벡터를 사용해 지수족 분포의 자연 매개변수를 매개변수화하여 의존성의 민첩한 모델링을 가능하게 하기 위해.
• 관측치 간에 임베딩 및 맥락 벡터를 공유하여 일관성과 일반화를 보장하며, 데이터 유형에 따라 모델 구조가 달라지도록 하기 위해.
• 스토캐스틱 그래디언트 하강법과 ℓ₂ 정규화를 사용해 모델을 피팅하여 대규모 데이터 세트에 대한 확장성을 확보하기 위해.
• 포아송 이외의 모델(예: hpf)의 경우 변분 추론을 사용하고, 포아송 기반 모델의 경우 맥락에 기반한 정규화된 포아송 평균을 통해 가능도를 계산하기 위해.

실험 결과

연구 질문

• RQ1 워드 임베딩의 원리가 신경 활동이나 마켓 바스켓 거래와 같은 비텍스트 고차원 데이터로 일반화될 수 있는가?
• RQ2 조건부 지수족과 공유되는 잠재 표현을 사용해 실수형, 카운트, 이진 데이터와 같은 다양한 데이터 유형을 통합적으로 모델링할 수 있는가?
• RQ3 ef-emb 모델이 기존의 차원 축소 기법(예: 포아송 인자분해, 지수족 PCA)보다 보류된 데이터를 얼마나 더 정확하게 복원하는가?
• RQ4 학습된 임베딩이 통계적 적합도를 넘어서 의미적으로 해석 가능한 의미적 구조(예: 제품 대체품, 보완재, 주제 기반 영화 클러스터)를 드러내는가?
• RQ5 맥락 정의 및 분포 가족의 선택이 다양한 데이터 모달리티에서 모델 성능과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 마켓 바스켓 데이터에서 K=100의 잠재 차원을 가진 p-emb 모델이 보류된 데이터에서 정규화된 로그가능도 측정치에서 포아송 PCA 및 hpf를 모두 앞서는 최고의 예측 성능을 달성했다.
• MovieLens 데이터에서 K=20을 가진 p-emb 모델이 가장 높은 테스트 로그가능도를 기록하여 기존 기준 모델 대비 사용자 평점의 더 뛰어난 복원성을 보였다.
• p-emb 모델은 의미적 유사성을 성공적으로 포착했다: 예를 들어, 요거트와 사이다가 유사한 제품들과 가까이 임베딩되었으며, 코사인 유사도가 기대되는 그룹화를 반영했다.
• 임베딩 벡터와 맥락 벡터 간의 내적은 의미 있는 관계를 식별했다: 높은 값은 보완재(예: 감자 칩과 맥주)를 나타내었고, 낮거나 음수의 값은 대체품(예: 다양한 스파게티 sosse) 또는 거의 공존하지 않는 항목을 나타냈다.
• 영화 평점에서 각 잠재 차원의 맥락 벡터는 주제적 유사도 기준으로 영화를 순서 정렬하여 어린이 영화나 SF/액션 장르와 같은 의미적으로 해석 가능한 클러스터를 드러냈다.
• ef-emb 프레임워크는 연속적인 단어의 집합(cbow)과 음성 샘플링을 특수 케이스로 포함하며, 임베딩 방법에 대한 통합적 시각을 확립한다.