[논문 리뷰] Efficient Vector Representation for Documents through Corruption

Minmin Chen|arXiv (Cornell University)|2017. 07. 08.

Topic Modeling참고 문헌 29인용 수 78

한 줄 요약

Doc2VecC는 손상 기반 정규화를 통해 학습된 단어 임베딩의 평균으로 문서를 나타냄으로써 감정 분석, 분류 및 의미론적 관련성에서 빠르고 확장 가능한 문서 표현을 가능하게 한다.

ABSTRACT

We present an efficient document representation learning framework, Document Vector through Corruption (Doc2VecC). Doc2VecC represents each document as a simple average of word embeddings. It ensures a representation generated as such captures the semantic meanings of the document during learning. A corruption model is included, which introduces a data-dependent regularization that favors informative or rare words while forcing the embeddings of common and non-discriminative ones to be close to zero. Doc2VecC produces significantly better word embeddings than Word2Vec. We compare Doc2VecC with several state-of-the-art document representation learning algorithms. The simple model architecture introduced by Doc2VecC matches or out-performs the state-of-the-art in generating high-quality document representations for sentiment analysis, document classification as well as semantic relatedness tasks. The simplicity of the model enables training on billions of words per hour on a single machine. At the same time, the model is very efficient in generating representations of unseen documents at test time.

연구 동기 및 목표

• BoW 및 기존의 신경 방법을 넘어서는 효율적인 문서 표현을 고안하는 동기를 제공한다.
• 손상 메커니즘을 갖춘 간단한 평균 기반의 문서 벡터를 제안한다.
• 손상이 정보가 담긴 단어를 선호하는 데이터 의존적 정규화로 작용한다는 것을 보인다.
• 감정 분석, 분류 및 의미 관련성 작업에서 경쟁력 있거나 우수한 성능을 입증한다.

제안 방법

• 각 문서를 로컬 컨텍스트와 함께 함께 학습된 단어 임베딩의 평균으로 표현한다.
• 손상(드롭아웃) 메커니즘을 도입하여 학습 중 무작위로 단어를 제거하고 남은 구성요소를 편향 없이 스케일한다.
• P(w|c, x̃)를 통해 로컬 컨텍스트와 전역 문서 컨텍스트로 목표 단어 확률을 모델링하고 음수 샘플링으로 최적화한다.
• 손상 평균을 기반으로 Taylor 전개를 제공하여 일반적이고 정보 가치가 낮은 단어를 억제하는 데이터 의존적 정규화 항을 도출한다.
• Word2Vec와 유사하게 투영 행렬 U와 V를 학습하여 효율적인 학습 및 추론 시간을 가능하게 한다.
• 보이지 않는 문서를 학습된 단어 임베딩의 단순 평균으로 표현한다.

실험 결과

연구 질문

• RQ1 손상 기반 목표로 학습된 단어 임베딩의 간단한 평균이 고품질의 문서 표현을 생성할 수 있는가?
• RQ2 손상 메커니즘이 성능과 학습 속도를 개선하는 데이터 의존적 정규화로 작용하는가?
• RQ3 감정 분석, 분류 및 의미 관련성 전반에서 Doc2VecC가 최신의 문서 표현들과 어떻게 비교되는가?
• RQ4 평균된 단어 임베딩을 사용할 때 테스트 시 표현 생성을 효율적으로 수행하는가?

주요 결과

• Doc2VecC는 감정 분석, 분류 및 의미 관련성에서 Paragraph Vectors 및 다른 벤치라인과 경쟁력 있거나 우수한 성능을 달성한다.
• 학습 시간은 빠르며 대형 코퍼스로 확장되며, 테스트 시 표현은 단어 임베딩의 간단한 평균만 필요하다.
• 손상 메커니즘은 데이터 의존적 정규화로 작용하여 일반적이지만 판별력이 낮은 단어들의 임베딩을 제재하고 테스트 시 계산을 줄인다.
• 실험적으로 Doc2VecC는 중지어(stop words)에 덜 지배되고 다운스트림 작업에 더 정보성이 높은 단어 임베딩을 산출한다.
• 단어 어의 관계 및 의미 관련성 작업에서 Doc2VecC 임베딩이 많은 설정에서 Word2Vec보다 우수하며, 특히 더 큰 코퍼스에서 두드러진다.