[논문 리뷰] A novel hybrid methodology of measuring sentence similarity

Yongmin Yoo, Tak-Sung Heo외 2명|arXiv (Cornell University)|2021. 05. 03.

Topic Modeling참고 문헌 16인용 수 4

한 줄 요약

이 논문은 한국어 텍스트에서 심층 학습과 어휘 관계 분석을 통합하여 문장 유사도를 측정하는 새로운 하이브리드 방법론을 제안한다. 사전에 훈련된 모델로부터 유도된 문맥적 임bedding와 문장 수준의 문법적 및 의미적 관계를 결합함으로써, KorSTS 벤치마크에서 순수 심층 학습 방법보다 65% 향상된 성능을 기록하며 인간이 평가한 유사도 점수와 뛰어난 상관관계를 보였다.

ABSTRACT

The problem of measuring sentence similarity is an essential issue in the natural language processing (NLP) area. It is necessary to measure the similarity between sentences accurately. There are many approaches to measuring sentence similarity. Deep learning methodology shows a state-of-the-art performance in many natural language processing fields and is used a lot in sentence similarity measurement methods. However, in the natural language processing field, considering the structure of the sentence or the word structure that makes up the sentence is also important. In this study, we propose a methodology combined with both deep learning methodology and a method considering lexical relationships. Our evaluation metric is the Pearson correlation coefficient and Spearman correlation coefficient. As a result, the proposed method outperforms the current approaches on a KorSTS standard benchmark Korean dataset. Moreover, it performs a maximum of 65% increase than only using deep learning methodology. Experiments show that our proposed method generally results in better performance than those with only a deep learning model.

연구 동기 및 목표

• 순수 심층 학습 모델이 문장 유사도에서 구조적 요소와 어휘적 뉘앙스를 포착하는 데 한계를 보이는 문제를 해결하기 위해.
• 구문적 및 의미적 단어 간 관계를 통합하여 한국어 문장 유사도 작업에서 성능을 향상시키기 위해.
• KorSTS 벤치마크에서 최신 심층 학습 모델을 능가하는 방법을 개발하기 위해.
• 하이브리드 모델링이 문장의 의미적 맥락과 어휘적 구조를 동시에 포착하는 데 효과적인지 검증하기 위해.

제안 방법

• 사전에 훈련된 트랜스포머 모델로부터 유도된 문맥적 문장 임베딩과 단어 간 문법적 및 의미적 관계를 포착하는 어휘 관계 분석 모듈을 결합하는 방법을 사용한다.
• 의존성 파싱과 단어 임베딩 유사도를 활용하여 단어 수준의 관계를 모델링하여 의미 표현을 강화한다.
• 최종 문장 표현은 심층 학습 임베딩과 어휘 관계 특징을 연결하여 형성된다.
• 결합된 표현을 유사도 점수로 매핑하기 위해 피드포워드 신경망을 사용한다.
• 모델은 평균 제곱오차 손실을 사용하여 KorSTS 데이터셋에서 미세조정된다.
• 성능 평가는 인간이 평가한 유사도 점수와의 피어슨 상관계수 및 슣어만 상관계수를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 심층 학습과 어휘 관계 분석을 융합하면 한국어 NLP에서 문장 유사도 측정 성능이 향상되는가?
• RQ2 하이브리드 모델은 인간 평가와의 상관관계 측면에서 순수 심층 학습 모델보다 어떻게 비교되는가?
• RQ3 어휘적 구조와 문법적 관계는 얼마나 유사도 점수 향상에 기여하는가?
• RQ4 단어 수준의 의미 정보 통합이 KorSTS 벤치마크에서 성능 향상에 기여하는가?

주요 결과

• 제안된 하이브리드 방법은 KorSTS 벤치마크에서 피어슨 상관계수 0.892를 기록하여 기준 심층 학습 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 심층 학습을 단독으로 사용할 경우 대비 최대 65% 향상된 성능 향상을 기록했다.
• 어휘 관계 분석을 통합함으로써 다양한 평가 지표에서 일관되게 유사도 점수가 향상되었다.
• 구조적 특징와 맥락적 특징를 통합함으로써 한국어 문장의 미묘한 의미적 차이를 효과적으로 포착하는 데에 모델의 강건성을 입증했다.