[논문 리뷰] Exploring phrase-compositionality in skip-gram models

Xiaochang Peng, Daniel Gildea|arXiv (Cornell University)|2016. 07. 21.

Natural Language Processing Techniques참고 문헌 17인용 수 3

한 줄 요약

이 논문은 단어 및 어구 임베딩을 동시에 최적화하면서도 합성 가능성을 학습 가능한 합성 함수를 통해 명시적으로 모델링하는 공동 학습 프레임워크를 제안한다. 어구 수준의 맥락을 통합하고 입력 및 출력 임베딩에 합성 제약 조건을 적용함으로써, 단어/어구 유사도, 문법 어법, 의존성 분석 작업에서 성능 향상을 이룬다. 특히 PTB 의존성 분석 벤치마크에서 UAS가 최대 0.87% 향상되었다.

ABSTRACT

In this paper, we introduce a variation of the skip-gram model which jointly learns distributed word vector representations and their way of composing to form phrase embeddings. In particular, we propose a learning procedure that incorporates a phrase-compositionality function which can capture how we want to compose phrases vectors from their component word vectors. Our experiments show improvement in word and phrase similarity tasks as well as syntactic tasks like dependency parsing using the proposed joint models.

연구 동기 및 목표

• 어구 수준 분산 표현에서의 데이터 희소성 문제를 해결하기 위해 단어 및 어구 임베딩을 공동으로 학습하는 것.
• 학습 가능한 합성 함수를 사용하여 단어 벡터가 어떻게 어구 벡터로 조합되는지 모델링하는 것.
• 단어 유사도, 어구 유사도, 의존성 분석과 같은 문법 작업에서의 성능 향상.
• 어구에 포함된 위치 정보 및 문법 정보를 임베딩 학습 과정에 통합하는 것.
• 단어 수준 및 어구 수준의 스跛-그램 모델을 공동으로 모델링함으로써 후속 NLP 작업에 미치는 영향을 평가하는 것.

제안 방법

• 기본 스跛-그램 모델을 확장하여 현재 어구 벡터가 맥락 어구를 예측하도록 어구 수준 예측을 포함한다.
• 어구 수준 목표 함수를 최적화하기 위해 음성 샘플링을 사용하며, 어구 임베딩은 확률적 경사 하강법을 통해 학습된다.
• 합성 함수 Φ(⊕(σ(v_w1), ..., σ(v_wn)))를 도입하여, 다양한 미분 가능한 연산 ⊕(예: 합산, 연결)과 비선형 변환 Φ를 사용해 단어 벡터를 어구 벡터로 조합한다.
• 단어 수준 및 어구 수준의 스跛-그램 목표 함수를 공통으로 최적화하며, 두 손실을 균형 잡는 하이퍼파라미터 β를 사용한다.
• Senna 툴킷을 사용해 텍스트에서 문법적 구간(예: NP, VP)을 추출하여 어구 수준 모델의 어구 정의를 한다.
• 입력 및 출력 어구 임베딩에 동일한 공유 합성 함수를 적용하여 임베딩 공간 내 일관성을 강제한다.

실험 결과

연구 질문

• RQ1 학습 가능한 합성 함수를 사용해 단어 및 어구 임베딩을 공동으로 학습하면, 단어 및 어구 유사도 작업에서 성능 향상이 이루어지는가?
• RQ2 어구 수준의 공존 관계를 모델링하면 의존성 분석과 같은 문법 후행 작업 성능이 향상되는가?
• RQ3 어구 임베딩에 위치 정보 및 문법 정보를 포함시키면, 유사도 및 분석 작업 성능에 어떤 영향을 미치는가?
• RQ4 합성 모델링과 위치 모델링 중 어느 것이 임베딩 품질 향상에 더 기여하는가?
• RQ5 일반적인 합성 함수는 다양한 문법 구조를 가진 어구 임베딩을 효과적으로 모델링할 수 있는가?

주요 결과

• 합성 모델링을 포함한 공동 모델은 단어 유사도 작업(WordSim-353)에서 0.704의 스피어만 상관계수를 기록하여, word2vec 및 위치 정보 전용 베이스라인을 모두 초월한다.
• 문법 어법(SYN) 및 혼합 어법(MIXED) 작업에서 합성 모델링과 위치 모델링을 조합한 결과가 가장 우수하며, MIXED 작업에서 80.5%의 정확도를 기록한다.
• 합성+위치 공동 임베딩을 사용한 의존성 분석 모델은 PTB 테스트 세트에서 UAS 92.19%와 LAS 90.82%를 기록하여, 베이스라인 word2vec 모델 대비 각각 0.28% 향상되었다.
• 문법 어구를 대상으로 어구 수준 스跛-그램을 모델링하면, 베이스라인 대비 UAS가 0.18% 절대적으로 향상되어, 문법적 구조가 임베딩 학습에 있어 가치가 있음을 입증한다.
• 위치 정보 포함이 단어 유사도 작업에서 약간의 성능 저하를 초래하여, 합성 모델링이 의미 유사도에 더 효과적임을 시사한다.
• 불타동사의 의미 해석 작업에서 가장 높은 성능은 공동 합성 모델에서 달성되었으며, 이는 의미 있는 어구 표현을 학습할 수 있음을 확인한다.