[논문 리뷰] In Search for Linear Relations in Sentence Embedding Spaces

Petra Baranċíková, Ondřej Bojar|arXiv (Cornell University)|2019. 10. 08.

Topic Modeling참고 문헌 22인용 수 6

한 줄 요약

이 논문은 문장에 대한 소규모이고 제어된 변화—예를 들어 단어 교체, 형용사 추가,标점 변경 등—이 문장 임베딩 공간에서 일관되고 해석 가능한 벡터 차이를 유도하는지 조사한다. SNLI와 MultiNLI에서 유래한 문장 쌍을 사용하여 저자들은 60개의 흔한 편집 패턴을 식별하고, ELMo, InferSent, USE-T와 같은 모델들이 이러한 의미적 편집을 선형 벡터 연산으로 유지함을 발견하여, 문장 임베딩이 언어적 수정에 해당하는 의미 있는 기하학적 관계를 인코딩하고 있음을 시사한다.

ABSTRACT

We present an introductory investigation into continuous-space vector representations of sentences. We acquire pairs of very similar sentences differing only by a small alterations (such as change of a noun, adding an adjective, noun or punctuation) from datasets for natural language inference using a simple pattern method. We look into how such a small change within the sentence text affects its representation in the continuous space and how such alterations are reflected by some of the popular sentence embedding models. We found that vector differences of some embeddings actually reflect small changes within a sentence.

연구 동기 및 목표

• . 문장 텍스트의 소규모이고 체계적인 수정(예: 단어 교체, 형용사 추가)이 문장 임베딩 공간에서 일관되고 해석 가능한 벡터 차이를 유도하는지 탐구하기 위해.
• . 예측 가능한 변화를 유도하는 공통된 문장 편집 패턴를 식별하고 분류하기 위해.
• . 인기 있는 문장 임베딩 모델들(예: ELMo, InferSent, USE-T)이 벡터 공간에서 이러한 변화를 선형 연산으로 반영하는지 평가하기 위해.
• . 벡터 공간 연산을 활용한 제어된 다의어화 또는 문장의 의미적 조작 가능성을 평가하기 위해.

제안 방법

• . SNLI 및 MultiNLI 데이터셋에서 오직 소규모 텍스트 변경(예: 단어 교체, 형용사 추가 등)만 발생한 문장 쌍을 추출하였다.
• . 가장 긴 공통 부분 문자열을 찾아 변수로 대체함으로써 패턴 기반 방법을 적용하여 공통된 편집 템플릿을 식별하였으며, 이로 인해 60개의 별도의 편집 패턴을 도출하였다.
• . ELMo, InferSent, LASER, USE-T를 사용하여 문장 임베딩을 계산하고, 쌍을 이루는 문장 간의 벡터 차이를 계산하였다.
• . k-means를 사용하여 얻어진 벡터 차이를 군집화하여 유사한 의미적 연산 그룹을 식별하였다.
• . 동일한 편집 패턴의 여러 인스턴스 간에 벡터 차이의 기하학적 일관성을 분석하였다.
• . 동일한 편집 유형이 데이터셋 전반에서 유사한 벡터 차이를 유도하는 빈도를 측정하여 이러한 패턴의 탄력성(robustness)을 평가하였다.

실험 결과

연구 질문

• RQ1 . 단어 교체, 형용사 추가 등과 같은 소규모이고 제어된 문장 텍스트 변화가 문장 임베딩 공간에서 일관되고 해석 가능한 벡터 차이를 유도하는가?
• RQ2 . 성별 대체, 감정 변화, 수량 수정 등과 같은 공통적인 언어적 편집 패턴들이 임베딩 공간에서 선형 연산으로 신뢰성 있게 포착될 수 있는가?
• RQ3 . ELMo, InferSent, USE-T와 같은 인기 있는 문장 임베딩 모델들이 다른 모델들에 비해 이러한 선형 관계를 얼마나 잘 유지하는가?
• RQ4 . 의미적 편집에 의해 유도된 벡터 차이들이 연산 공간에서 군집화되어 있으며, 이는 언어적 변환의 구조화된 표현을 시사하는가?

주요 결과

• . 동일한 편집 패턴(예: 'man' → 'woman')을 가진 문장 쌍 간의 벡터 차이는 여러 인스턴스에 걸쳐 일관되게 유사하였으며, 이는 문장 임베딩이 이러한 변화를 선형 연산으로 인코딩하고 있음을 시사한다.
• . ELMo, InferSent, LASER, USE-T 모두 편집 패턴을 강력하게 유지하였으며, 특히 ELMo는 패턴당 20회 이상 발생하는 경우에도 특히 일관된 결과를 보였다.
• . 성별 대체(클러스터 6), 감정 변화(클러스터 3), 수량 생략(클러스터 4) 등의 의미 유형별로 벡터 차이가 군집화되어 있어, 연산 공간 내에서 구조화된 기하학적 조직이 있음을 보여주었다.
• . 이 방법은 60개의 흔한 편집 패턴을 식별하였으며, 성공률은 1/5에서 196/196까지 다양하여 'X woman Y → X man Y' 또는 'X young Y → X sad Y'와 같은 일반적인 편집에 대해 매우 높은 일관성을 보였다.
• . 'X -> X not Y' 또는 'X -> there is X'와 같은 패턴의 경우 벡터 차이가 항상 작고 예측 가능하여, 임베딩 공간이 문법적 및 의미적 수정을 반영하고 있음을 시사한다.
• . 본 연구는 문장 임베딩이 벡터 산술을 통해 제어된 의미적 조작을 가능하게 하며, 다의어화 및 텍스트 생성 등 응용 가능성이 있음을 입증하였다.