[논문 리뷰] Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings

Xunjie Zhu, Gerard de Melo|arXiv (Cornell University)|2020. 03. 09.

Topic Modeling참고 문헌 36인용 수 8

한 줄 요약

이 논문은 문장 임베딩 공간 내의 규칙성(regularity)을 평가하기 위해 문장 유사성 데이터셋을 도입하며, 어휘적 유사성과 의미적 관계를 기반으로 한 평가 체계를 제안한다. 연구 결과, 복잡한 BERT 스타일 모델보다 간단한 모델들인 DCT와 GloVe가 유사성 규칙성을 더 잘 포착하는 경향이 있어, 대규모 컨텍스트 기반 임베딩의 우월성에 대한 기존 가정을 도전한다.

ABSTRACT

While important properties of word vector representations have been studied extensively, far less is known about the properties of sentence vector representations. Word vectors are often evaluated by assessing to what degree they exhibit regularities with regard to relationships of the sort considered in word analogies. In this paper, we investigate to what extent commonly used sentence vector representation spaces as well reflect certain kinds of regularities. We propose a number of schemes to induce evaluation data, based on lexical analogy data as well as semantic relationships between sentences. Our experiments consider a wide range of sentence embedding methods, including ones based on BERT-style contextual embeddings. We find that different models differ substantially in their ability to reflect such regularities.

연구 동기 및 목표

• 문장 임베딩 공간이 단어 벡터 공간에서 관찰되는 것과 유사한 규칙성을 보이는지 조사하기.
• 문장 간 어휘적 및 의미적 관계를 기반으로 한 새로운 문장 유사성 평가 데이터셋을 개발하기.
• 다양한 문장 임베딩 방법—특히 BERT 스타일 모델—이 이러한 유사성 작업에서 어떻게 성능을 내는지 평가하기.
• 모델의 용량 증가 또는 NLI 데이터에 대한 피지테이닝이 문장 임베딩에서의 유사성 추론 능력에 기여하는지 확인하기.

제안 방법

• 어휘적 유사성 패턴을 문장 수준의 관계로 확장하여 문장 유사성 데이터셋을 생성하는 프레임워크를 제안한다.
• 기존의 단어 유사성 데이터셋에서 유래한 문장 쌍을 기반으로 어휘적 유사성 패턴(예: 'A는 B에 대해 C는 D에 대해')을 활용해 문장 유사성을 구성한다.
• 함축 관계와 부정 관계와 같은 의미적 관계 유형을 적용하여 전용 평가 세트를 생성한다.
• 코사인 유사도를 사용한 벡터 산술을 통해 유사성을 해결한다: argmax_D sim(v_D, v_B - v_A + v_C), A, B, C를 제외한다.
• 세 가지 유형의 유사성 유형—어휘적, 함축, 부정—에 대해 16개의 문장 임베딩 모델을 평가한다.
• 유사도를 계산하기 위해 3CosAdd 및 3CosMul을 스코링 함수로 사용한다.

실험 결과

연구 질문

• RQ1 문장 임베딩 공간은 단어 벡터 공간에서 관찰되는 것과 유사한 규칙성을 반영하는가, 특히 유사성 작업에서?
• RQ2 다양한 문장 임베딩 모델—특히 BERT 스타일 모델—은 문장 유사성 작업에서 얼마나 잘 수행되는가?
• RQ3 NLI 데이터에 대한 피지테이닝이 모델이 문장 임베딩에서의 유사성 관계를 포착하는 능력을 향상시키는가?
• RQ4 DCT나 단어 벡터 평균과 같은 간단한 모델이 복잡한 신경망 아키텍처보다 유사성 추론에서 더 뛰어난 성능을 보일 수 있는가?
• RQ5 모델 크기와 아키텍처의 복잡성은 문장 유사성 작업에서 성능과 어느 정도 상관이 있는가?

주요 결과

• RoBERTa-Base-CLS는 함축 유사성 작업에서 최고의 정확도(0.8703)를 기록하여 RoBERTa-Large조차도 뛰어넘었다.
• BERT-Large-AVG는 함축 작업에서 0.6896의 정확도를 기록하여 비컨텍스트 평균 모델임에도 불구하고 뛰어난 성능을 보였다.
• k=6인 DCT 모델은 함축 작업에서 0.6667의 정확도를 기록하여 많은 복잡한 모델들을 능가했다.
• NLI 데이터에 피지테이닝된 모델들(예: SBERT, SRoBERTa)은 부정 유사성 작업에서 빈번히 부정되지 않은 형태를 정답과 혼동하여 성능이 열악했다.
• GloVe와 단어 벡터 평균은 함축 및 부정 작업에서 특히 무작위 마스킹 조건에서 성능이 열악했다.
• 놀랍게도, DCT나 GloVe와 같은 간단한 모델들이 SBERT나 XLNet과 같은 더 복잡한 모델들보다 자주 유사성 규칙성을 더 잘 포착했다.