[논문 리뷰] Bayesian Paragraph Vectors

Geng Ji, Robert Bamler외 2명|arXiv (Cornell University)|2017. 11. 10.

Topic Modeling참고 문헌 17인용 수 4

한 줄 요약

이 논문은 불확실성을 문단 임베딩에 정량화할 수 있도록 베이지안 추론을 통합한 확률적 생성 모델인 베이지안 문단 벡터(BPV)를 제안한다. 문단 벡터를 후행 분포를 가진 랜덤 변수로 모델링함으로써, 문서 길이가 길어질수록 엔트로피가 감소하고, 변분 추론을 통해 불확실성을 포착함으로써 기존의 MAP 추정보다 감성 분석 및 동의어 탐지 작업에서 성능 향상을 이룬다.

ABSTRACT

Word2vec (Mikolov et al., 2013) has proven to be successful in natural language processing by capturing the semantic relationships between different words. Built on top of single-word embeddings, paragraph vectors (Le and Mikolov, 2014) find fixed-length representations for pieces of text with arbitrary lengths, such as documents, paragraphs, and sentences. In this work, we propose a novel interpretation for neural-network-based paragraph vectors by developing an unsupervised generative model whose maximum likelihood solution corresponds to traditional paragraph vectors. This probabilistic formulation allows us to go beyond point estimates of parameters and to perform Bayesian posterior inference. We find that the entropy of paragraph vectors decreases with the length of documents, and that information about posterior uncertainty improves performance in supervised learning tasks such as sentiment analysis and paraphrase detection.

연구 동기 및 목표

• 텍스트 임베딩에서 원칙적인 불확실성 정량화를 가능하게 하는 문단 벡터의 베이지안 해석을 개발한다.
• 특히 짧은 문서에서 높은 불확실성을 가지는 점추정치의 한계를 해결한다.
• 특징 표현에 후행 불확실성을 통합하여 후행 감독 학습 성능을 향상시킨다.
• 문서 길이가 길어질수록 문단 벡터의 불확실성이 감소함을 검증한다.
• 문단 벡터 임베딩의 맥락에서 변분 추론과 MAP 추정 간의 비교를 수행한다.

제안 방법

• 베이지안 스위프그램 모델(Barkan, 2017)을 확장하여, 가우시안 사전분포를 가진 잠재 변수로 문서별 문단 벡터를 포함한다.
• 문서 내 단어 쌍의 가능도를 단어 임베딩과 컨텍스트 벡터의 내적에 문단 벡터를 보완하여 시그모이드 함수로 모델링한다.
• 변분 추론(VI)을 사용하여 문단 벡터의 후행 분포를 근사함으로써 평균과 분산을 모두 포착한다.
• 감소하는 학습률과 음성 샘플링을 사용한 확률적 최적화를 통해 대규모 코퍼스에 스케일링한다.
• 지역적 단어 공존을 기반으로 양성 쌍을 구성하고, 단어 빈도 기반의 노이즈 분포를 통해 음성 쌍을 생성한다.
• 후행 분류 작업의 입력 특징으로 변분 평균과 표준편차의 연결을 사용한다.

실험 결과

연구 질문

• RQ1 후행 분포를 가진 랜덤 변수로 문단 벡터를 모델링할 경우 점추정치보다 더 견고한 표현을 제공하는가?
• RQ2 문단 벡터의 불확실성(엔트로피)은 문서 길이에 따라 어떻게 변하는가?
• RQ3 후행 불확실성을 통합함으로써 감성 분석 및 동의어 탐지와 같은 감독 학습 NLP 작업의 성능 향상이 가능한가?
• RQ4 MAP, VI, HMC와 같은 다양한 추론 방법 간의 차이가 후행 작업 정확도에 어떻게 영향을 미치는가?
• RQ5 문단 벡터의 생성적 확률적 제약이 짧은 텍스트에서의 불확실성에 대한 경험적 직관과 일치하는가?

주요 결과

• 문단 벡터의 엔트로피는 문서 길이가 길어질수록 감소함을 확인하여, 더 긴 텍스트에서 더 확신 있는 임베딩을 얻는다는 점을 입증한다.
• 감성 분석 및 동의어 탐지 작업 모두에서 변분 추론(VI)이 최대사후확률(MAP) 추정을 능가한다.
• IMDB 데이터셋에서 VI는 감성 분석에서 87.0%의 테스트 정확도를 기록했고, MAP는 86.9%였다.
• MSR 동의어 코퍼스에서 VI는 동의어 탐지에서 71.0%의 정확도를 기록했고, MAP는 70.0%였다.
• 짧은 문서에서 문단 벡터의 후행 분산이 더 높아, 모델이 불확실성을 잘 포착하고 있음을 검증한다.
• 하미르토니안 몬테카를로(HMC) 추론은 VI보다 성능이 열 劣하였으며, 이는 샘플링 중 고정된 음성 예시로 인한 과적합 때문일 것이다.