[논문 리뷰] Vector representations of text data in deep learning

Karol Grzegorczyk|arXiv (Cornell University)|2019. 01. 07.

Topic Modeling참고 문헌 120인용 수 11

한 줄 요약

이 논문은 텍스트의 벡터 표현을 위한 두 가지 새로운 딥러닝 모델을 소개한다: 정보 검색 및 전이 학습에서 기존 방법을 능가하는 이진 문서 임베딩을 학습하는 이진 문단 벡터(Binary Paragraph Vector)와 다의어 단어 임베딩을 학습하여 어휘의 의미 유도 분석에서 최고 성능을 달성하는 디스앱리게이티드 스킵그램(Disambiguated Skip-gram)이다. 두 모델 모두 미분 가능하며 역전파를 통해 훈련되어 수작업 특징 없이 원시 텍스트에서 종단 간(end-to-end) 학습이 가능하다.

ABSTRACT

In this dissertation we report results of our research on dense distributed representations of text data. We propose two novel neural models for learning such representations. The first model learns representations at the document level, while the second model learns word-level representations. For document-level representations we propose Binary Paragraph Vector: a neural network models for learning binary representations of text documents, which can be used for fast document retrieval. We provide a thorough evaluation of these models and demonstrate that they outperform the seminal method in the field in the information retrieval task. We also report strong results in transfer learning settings, where our models are trained on a generic text corpus and then used to infer codes for documents from a domain-specific dataset. In contrast to previously proposed approaches, Binary Paragraph Vector models learn embeddings directly from raw text data. For word-level representations we propose Disambiguated Skip-gram: a neural network model for learning multi-sense word embeddings. Representations learned by this model can be used in downstream tasks, like part-of-speech tagging or identification of semantic relations. In the word sense induction task Disambiguated Skip-gram outperforms state-of-the-art models on three out of four benchmarks datasets. Our model has an elegant probabilistic interpretation. Furthermore, unlike previous models of this kind, it is differentiable with respect to all its parameters and can be trained with backpropagation. In addition to quantitative results, we present qualitative evaluation of Disambiguated Skip-gram, including two-dimensional visualisations of selected word-sense embeddings.

연구 동기 및 목표

• 원시 텍스트에서 직접 이진 문서 표현을 학습하는 미분 가능한 신경망 모델을 개발하여 간접 해싱 방법에 의존하지 않도록 한다.
• 각 단어의 의미 변화를 포착하는 다의어 단어 임베딩 모델을 구축하여 어휘의 의미 유도 작업에서 성능을 향상시킨다.
• 표준 벤치마크 데이터셋을 사용하여 검색 및 전이 학습 설정에서 제안된 모델의 성능을 평가한다.
• 의미 수에 대한 기대값을 제어할 수 있는 정규화 메커니즘을 포함한 다의어 임베딩의 확률적 해석을 제공한다.
• 학습된 임베딩이 저수준 작업, 예를 들어 저자 프로파일링 및 의미 유사도 분석과 같은 후행 작업에서 경쟁적인 정확도를 달성하는 데 유용한가를 보여준다.

제안 방법

• 이진 문단 벡터는 원시 텍스트에서 직접 이진 문서 코드를 학습하는 데 깊이 있는 신경망을 사용하며, 종단 간 훈련이 가능한 미분 가능한 이진화 함수를 적용한다.
• 모델은 분산된 n-그램의 집합 입력 표현을 사용하고, 이진 공간에서 의미 유사도를 유지하기 위해 대비 손실(contrastive loss)을 적용한다.
• 디스앱리게이티드 스킵그램은 각 단어를 다수의 의미별로 특화된 벡터의 혼합으로 모델링하며, 의미 간에 확률적 소프트맥스와 미분 가능한 게이팅 메커니즘을 사용한다.
• 모델은 의미 수의 기대값을 제어하기 위해 엔트로피 정규화 항을 포함하며, 낮은 확률을 가진 의미를 제거하기 위한 정제 전략을 적용한다.
• 두 모델 모두 확률적 경사 하강법을 사용하여 역전파를 통해 훈련되며, 20 Newsgroups, RCV1, 영어 위키백과와 같은 대규모 텍스트 코퍼스를 사용한다.
• 실제 이진 문단 벡터 모델(variant)는 효율적이고 정확한 검색을 위해 이진 코드와 고차원 실수값 표현을 동시에 학습한다.

실험 결과

연구 질문

• RQ1 미분 가능한 신경망이 원시 텍스트에서 직접 효과적인 이진 문서 표현을 학습할 수 있는가? 기존 간접 해싱 방법보다 우월한가?
• RQ2 역전파를 통해 훈련된 다의어 단어 임베딩의 성능은 기존 최고 성능 모델 대비 어휘의 의미 유도 분석에서 얼마나 우수한가?
• RQ3 일반 코퍼스에서 사전 훈련한 후 도메인 특화 데이터에서 미세 조정하는 방식으로 제안된 모델이 전이 학습 작업에 일반화되는가?
• RQ4 정규화와 정제가 학습된 의미 수와 모델 성능에 미치는 영향은 어떠한가?
• RQ5 학습된 임베딩이 저자 프로파일링 및 의미 유사도 분석과 같은 후행 작업에서 경쟁적인 정확도를 달성할 수 있는가?

주요 결과

• 이진 문단 벡터는 20 Newsgroups, RCV1, 영어 위키백과에서 정보 검색에서 획기적인 방법보다 뛰어난 성능을 보이며, 더 높은 MAP 및 NDCG@10 점수를 달성한다.
• 20 Newsgroups 데이터셋에서 32비트 이진 PV 모델은 MAP 0.58과 NDCG@10 0.78의 성능을 기록하여 TF-IDF 및 bag-of-words 기반 모델보다 유의미하게 뛰어나다.
• 디스앱리게이티드 스킵그램은 네 가지 어휘의 의미 유도 벤치마크 중 세 곳에서 최고 성능을 기록했으며, 일부 데이터셋에서는 조정된 랜드 지수 0.7 초과를 달성했다.
• SCWS 데이터셋에서 스피어만 상관계수는 82.1, WordSim353에서는 85.3을 기록하여 기존의 다의어 모델을 능가했다.
• 전이 학습에서 위키백과에서 사전 훈련한 모델은 도메인 특화 데이터셋에서 MAP 0.41의 성능을 기록하여 강력한 일반화 능력을 보였다.
• 블로그 포스트 임베딩의 t-SNE 시각화 결과, 연령대별로 의미 있는 군집이 형성되었으며, 청소년과 어른 저자 간의 구분이 뚜렷했다. 다만 성별에 따른 구분은 덜 뚜렷했다.