[논문 리뷰] Context is Everything: Finding Meaning Statistically in Semantic Spaces.

Eric Zelikman|arXiv (Cornell University)|2018. 03. 22.

Topic Modeling참고 문헌 14인용 수 3

한 줄 요약

이 논문은 문맥 기반의 통계적 측도인 컨텍스트 추론성(CoSal)을 제안하며, 문장 임베딩 작업에서 tf-idf와 최신 모델을 능가하는 단어 중요도 측정 방식을 제공한다. 작은 문맥과 어구 수준의 의미를 활용함으로써, 문장 유사도, 요약,余弦 거리 계산 등의 후행 NLP 작업을 위한 더 정확하고 문맥 인식형 표현을 가능하게 한다. 이는 페이스북의 SentEval 벤치마크에서 뛰어난 성능을 기록한다.

ABSTRACT

This paper introduces Contextual Salience (CoSal), a simple and explicit measure of a word's importance in context which is a more theoretically natural, practically simpler, and more accurate replacement to tf-idf. CoSal supports very small contexts (20 or more sentences), out-of context words, and is easy to calculate. A word vector space generated with both bigram phrases and unigram tokens reveals that contextually significant words disproportionately define phrases. This relationship is applied to produce simple weighted bag-of-words sentence embeddings. This model outperforms SkipThought and the best models trained on unordered sentences in most tests in Facebook's SentEval, beats tf-idf on all available tests, and is generally comparable to the state of the art. This paper also applies CoSal to sentence and document summarization and an improved and context-aware cosine distance. Applying the premise that unexpected words are important, CoSal is presented as a replacement for tf-idf and an intuitive measure of contextual word importance.

연구 동기 및 목표

• tf-idf가 문맥적으로 관련된 단어 중요도를 포착하는 데 한계가 있음을 해결하기 위해.
• tf-idf의 단순하고 이론적으로 타당하며 계산적으로 효율적인 대안을 개발하여, 문맥 내에서 단어의 중요성을 측정하기 위해.
• 문맥적으로 두드러진 단어를 통합함으로써 문장 및 문서 표현 학습을 향상시키기 위해.
• CoSal을 사용한 가중치가 부여된 백오브워즈 모델링을 통해 문장 임베딩 품질을 향상시키기 위해.
• 문장 유사도, 요약,余弦 거리 계산과 같은 후행 NLP 작업에서의 성능 향상을 가능하게 하기 위해.

제안 방법

• 소규모 문맥(20+ 문장) 내의 공현 패턴 기반으로 통계적 단어 중요도 측도인 컨텍스트 추론성(CoSal)을 정의하기 위해.
• 일반형 토큰과 이형어구를 모두 사용하여 단어 벡터 공간을 구축하여 어구 수준의 의미를 포착하기 위해.
• CoSal을 적용하여 백오브워즈 문장 임베딩을 가중치화함으로써, 문맥에 기반한 문장 표현을 생성하기 위해.
• 문맥적으로 두드러진 단어를 우선시함으로써, CoSal을 사용해 문장 및 문서 요약을 향상시키기 위해.
• CoSal을 통합한 문맥 인식형余弦 거리 측정법을 도입하여 의미 유사도를 더 정확히 반영하기 위해.
• 페이스북의 SentEval 벤치마크에서 tf-idf 및 최신 모델과의 비교를 통해 CoSal의 효과성을 검증하기 위해.

실험 결과

연구 질문

• RQ1 문맥에 기반한 단어 중요도 측정 방식이 의미 유사도 포착에서 tf-idf를 능가할 수 있는가?
• RQ2 SkipThought 및 순서 없는 문장 모델과 같은 기존 방법과 비교해 CoSal은 문장 임베딩 품질을 어떻게 향상시키는가?
• RQ3 문맥적으로 두드러진 단어가 의미 공간 내 어구를 정의하고 구분하는 데 얼마나 기여하는가?
• RQ4 CoSal은 문장 및 문서 요약 작업의 성능 향상에 기여할 수 있는가?
• RQ5 CoSal에 기반한 문맥 인식형余弦 거리 측정법은 의미 유사도 추정을 더 정확하게 개선하는가?

주요 결과

• CoSal은 페이스북의 SentEval 벤치마크에서 모든 테스트에서 tf-idf를 능가하며, 단어 중요도 측정에서 일관된 슈퍼리어리티를 입증한다.
• CoSal 기반 문장 임베딩 모델은 대부분의 SentEval 작업에서 최신 기술 수준의 성능을 기록한다.
• 문맥적으로 두드러진 단어들이 학습된 벡터 공간 내 어구를 정의하는 데 비례적으로 기여한다.
• 문맥 기반으로 의미적으로 두드러진 어휘를 강조함으로써, 모델은 문장 및 문서 요약 성능을 향상시킨다.
• CoSal에 기반한 문맥 인식형余弦 거리 측정법은 기존의 표준余弦 거리보다 의미 유사도를 더 정확히 반영한다.
• 매우 작은 문맥(20+ 문장)에서도 CoSal은 효과적인 표현 학습을 가능하게 하여 실생활 응용에 실용적이다.