[논문 리뷰] Unsupervised Sentence Textual Similarity with Compositional Phrase Semantics

Zihao Wang, Jiaheng Dou외 1명|arXiv (Cornell University)|2022. 10. 05.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 복합어구 의미를 재귀적 어구 분할과 최적 운반 정렬을 통해 포착하는 새로운 비지도 문장 텍스트 유사도 방법인 재귀적 최적 운반 유사도(ROTS)를 제안한다. ROTS는 29개의 STS 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 전통적인 비지도 방법과 BERT 기반 접근법보다 정확성과 효율성 면에서 뛰어나며, 선형 시간 복잡도와 최소한의 계산 오버헤드를 갖춘다.

ABSTRACT

Measuring Sentence Textual Similarity (STS) is a classic task that can be applied to many downstream NLP applications such as text generation and retrieval. In this paper, we focus on unsupervised STS that works on various domains but only requires minimal data and computational resources. Theoretically, we propose a light-weighted Expectation-Correction (EC) formulation for STS computation. EC formulation unifies unsupervised STS approaches including the cosine similarity of Additively Composed (AC) sentence embeddings, Optimal Transport (OT), and Tree Kernels (TK). Moreover, we propose the Recursive Optimal Transport Similarity (ROTS) algorithm to capture the compositional phrase semantics by composing multiple recursive EC formulations. ROTS finishes in linear time and is faster than its predecessors. ROTS is empirically more effective and scalable than previous approaches. Extensive experiments on 29 STS tasks under various settings show the clear advantage of ROTS over existing approaches. Detailed ablation studies demonstrate the effectiveness of our approaches.

연구 동기 및 목표

• 대규모 레이블이 없는 데이터나 비용이 많이 드는 미사전처리가 필요 없이 어절 수준의 의미를 효과적으로 포착할 수 있는 경량 비지도 STS 방법을 개발하는 것.
• 기존의 비지도 STS 접근법—덧셈 조합, 최적 운반, 트리 커널—을 공통의 기대 보정(EC) 공식 아래 통합하는 것.
• 최적 운반을 통해 더 세밀한 어구 임베딩을 조합함으로써 계층적 어구 정렬을 가능하게 하는 재귀적 프레임워크를 설계하는 것.
• 최소한의 계산 비용과 데이터 요구 사항으로도 높은 성능과 확장성을 달성하는 것.

제안 방법

• AC, OT, TK 방법의 통합 프레임워크로 기대 보정(EC) 유사도 공식을 도입하여, 이들 간의 공통된 구조적 특성을 드러내는 것.
• 복합어구 의미 모델링을 가능하게 하기 위해 문장을 어절 수준의 구성요소로 재귀적으로 분해하는 재귀적 어구 분할(RPP)을 제안하는 것.
• 각 재귀적 분할 수준에서 EC 유사도를 적용하고, 더 거시적에서 더 미세한 해상도로의 정렬을 이끄는 사전 최적 운반을 사용함으로써 재귀적 최적 운반 유사도(ROTS)를 개발하는 것.
• 재귀적 수준 간의 어절 벡터와 가중치의 덧셈 조합을 통해 의미 계층을 유지하고 정렬 정확도를 향상시키는 것.
• 다양한 재귀적 수준에서의 EC 유사도의 가중치 앙상블을 사용하며, 최적 성능를 얻기 위해 하이퍼파rameter를 쉽게 조정할 수 있는 것.
• 동적 프로그래밍과 재귀적 분해를 활용하여 선형 시간 복잡도를 달성함으로써, 긴 텍스트에 대한 확장성 확보.

실험 결과

연구 질문

• RQ1 EC 유사도와 같은 통합 공식이 덧셈 조합, 최적 운반, 트리 커널 등의 기존 비지도 STS 방법을 효과적으로 통합하고 향상시킬 수 있는가?
• RQ2 어절 수준의 정렬이 단지 어간 수준의 정렬보다 문장 유사도 모델링에 얼마나 더 높은 성능을 제공하는가?
• RQ3 재귀적 분해를 통해 복합어구 의미를 통합함으로써 다양한 도메인에서 STS 성능에 측정 가능한 향상이 이루어지는가?
• RQ4 저자원 환경에서 기존의 고전적 비지도 방법과 BERT 기반 지도 학습 접근법에 비해 ROTS는 정확성과 효율성 면에서 어떻게 비교되는가?

주요 결과

• ROTS는 29개의 다양한 STS 벤치마크에서 최신 기술 수준 성능을 달성하며, BERT 기반 모델을 포함한 모든 이전 비지도 방법보다 효과성과 효율성 면에서 뛰어나다.
• STS-Benchmark에서 ParaNMT 벡터를 사용할 경우, ROLS는 피어슨 상관계수 72.90(95% 신뢰구간: [71.36, 74.38])를 기록하며, 다음으로 우수한 방법보다 0.6점 이상 높게 기록한다.
• SupWord 벡터를 사용할 경우, STS-B에서 79.74(95% 신뢰구간: [77.41, 81.77])의 성능을 기록하여 다양한 단어 임베딩 유형에 대해 강건함을 입증한다.
• ROTS는 모든 29개의 작업에서 AC, WRD, OT 기반 모델을 일관되게 능가하며, 피어슨 상관계수 평균 1.5~2.5점의 향상을 기록한다.
• 제거 실험 결과 재귀적 어절 정렬과 사전 최적 운반의 사용이 필수적인 구성 요소임을 확인하였으며, 이를 제거할 경우 성능이 크게 떨어진다.
• ROTS는 선형 시간 내에 실행되며, 이전의 재귀적 또는 트리 기반 방법보다 훨씬 빠르게 동작하여 실세계 응용에서 확장 가능한 배포가 가능하다.