[논문 리뷰] Comparative study of LSA vs Word2vec embeddings in small corpora: a case study in dreams database

Edgar Altszyler, Mariano Sigman외 2명|El Servicio de Difusión de la Creación Intelectual (National University of La Plata)|2016. 10. 05.

Natural Language Processing Techniques인용 수 61

한 줄 요약

이 연구는 꿈 기록을 사례로 삼아 소규모 텍스트 코퍼스에서 잠재의미분석(LSA)과 스킵그램 워드2벡을 비교한다. 대규모 데이터셋에서 워드2벡이 지배적임에도 불구하고, LSA는 특히 저빈도어와 소규모 꿈 시리즈에서 의미적 연관성을 더 잘 포착하여, '도망/추격' 상황에서의 '달리기'와 같은 맥락 특화된 어휘 관계를 탐지하는 데 뛰어난 성능을 보인다.

ABSTRACT

Word embeddings have been extensively studied in large text datasets. However, only a few studies analyze semantic representations of small corpora, particularly relevant in single-person text production studies. In the present paper, we compare Skip-gram and LSA capabilities in this scenario, and we test both techniques to extract relevant semantic patterns in single-series dreams reports. LSA showed better performance than Skip-gram in small size training corpus in two semantic tests. As a study case, we show that LSA can capture relevant words associations in dream reports series, even in cases of small number of dreams or low-frequency words. We propose that LSA can be used to explore words associations in dreams reports, which could bring new insight into this classic research area of psychology

연구 동기 및 목표

• 소규모 텍스트 코퍼스, 특히 심리학적 텍스트 분석에서 LSA와 스킵그램 워드2벡의 성능을 평가하기 위해.
• 예측 기반 모델인 스킵그램이 높은 파라미터 수로 인해 소규모 코퍼스에서 성능이 크게 떨어지는지 조사하기 위해.
• 제한된 데이터로 개별 꿈 시리즈에서 의미 패턴을 탐지하기 위해 워드 임베딩을 사용할 수 있는지 검증하기 위해.
• 특정 맥락에서의 어휘 연관성(예: 도망/추격 상황에서의 '달리기')을 식별하는 데서 LSA와 스킵그램의 모델 내성 비교하기 위해.
• 저데이터 환경에서 신경망 기반 임베딩의 대안으로 LSA가 얼마나 타당한지 평가하기 위해.

제안 방법

• 꿈 기록에서 단어-문서 공출현 행렬을 구축하고, 절삭된 특이값 분해(Truncated SVD)를 적용하여 LSA 임베딩을 생성하였다.
• 동일한 꿈 코퍼스를 대상으로 연속 윈도우 기반 예측을 사용하여 스킵그램 모델을 훈련시켰다.
• 모델 간 단어 벡터 간 코사인 유사도를 사용하여 의미 유사도를 평가하였다.
• 예를 들어 음료, 도구, 옷과 같은 사전 정의된 카테고리에 대해 코퍼스의 내부 서브샘플을 활용하여 의미 분류 테스트를 수행하였다.
• 도망/추격 관련 꿈 맥락에서 '달리기'를 탐지하는 데 성능을 평가하기 위해 맥락 민감도 테스트를 설계하였으며, 순위 거리와 도망/추격 관련 사용 비율을 기반으로 평가하였다.
• 모델 예측이 도망/추격 비율에 얼마나 민감한지 측정하기 위해 로그선형 회귀를 적용하였고, 예측값과 실제값 간 기울기와 상관계수를 비교하였다.

실험 결과

연구 질문

• RQ1 소규모 텍스트 코퍼스에서 의미 카테고리 표현을 평가할 때 LSA가 스킵그램 워드2벡을 능가하는가?
• RQ2 LSA와 스킵그램은 도망/추격 꿈 상황에서 '달리기'와 같은 맥락 특화 어휘 연관성을 얼마나 잘 탐지하는가?
• RQ3 모델 성능 차이가 코퍼스 크기와 어휘 빈도에 얼마나 의존하는가?
• RQ4 저빈도어 또는 짧은 꿈 시리즈에서 LSA는 목표어의 의미적 이웃을 신뢰성 있게 포착할 수 있는가?
• RQ5 스킵그램의 예측 기반 성격은 LSA와 같은 카운터 기반 모델 대비 저데이터 환경에서 단점이 되는가?

주요 결과

• 소규모 코퍼스(~100만 단어)에서 훈련된 LSA는 의미 분류 작업에서 스킵그램을 능가하였고, 중간 크기의 코퍼스(~1,000만 단어)에서는 워드2벡이 LSA를 능가하였다.
• 도망/추격 맥락 탐지 작업에서 LSA는 기울기 -2.10을 보였고, 이는 스킵그램의 -1.11보다 유의미하게 더 가파르며 맥락에 대한 민감도가 높음을 시사한다.
• LSA는 실제 도망/추격 사용과 상관계수 -0.57(p < 0.0001)를 기록하였고, 스킵그램은 -0.42(p = 0.007)를 기록하여 LSA가 실제 데이터와 더 잘 일치함을 확인하였다.
• 코모고로프-스미르노프 검정에서 LSA와 스킵그램 간 기울기 분포에 통계적으로 유의미한 차이가 있었으며(p < 3×10⁻⁴), LSA에 유리하게 기울어졌다.
• LSA는 고도망/도망 비율이 높은 시리즈에서 '달리기'의 맥락적으로 관련된 이웃어(예: '추격당함', '숨어있음', '추격함')를 성공적으로 식별하였고, 스킵그램은 이러한 패턴을 탐지하지 못했다.
• 도망/추격 내용이 전혀 없는 제어 시리즈에서는 두 모델 모두 '달리기'를 도망 관련 용어와 연관지키지 않아 특이성 검증에 성공하였다.