[논문 리뷰] Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors

В. К. Железняк, Aleksandar Savkov외 4명|arXiv (Cornell University)|2019. 04. 30.

Topic Modeling인용 수 24

한 줄 요약

이 논문은 퍼지 집합 이론을 사용하여 문장 쌍에 대해 관련 단어 벡터 특징을 동적으로 선택하고 max-pooling하는 새로운 비모수적 비모수적 유사도 측정법인 DynaMax를 제안한다. 이는 모든 STS 벤치마크에서 평균화된 단어 벡터와 코사인 유사도를 초월하며, 코사인 유사도를 최적화하기 위해 훈련된 지도 학습 방법과도 맞먹는 성능을 보이며, max-pooled 벡터에 대해 코사인 유사도보다 더 적절한 측정지표로 퍼지 자카르 지수를 도입한다.

ABSTRACT

Recent literature suggests that averaged word vectors followed by simple post-processing outperform many deep learning methods on semantic textual similarity tasks. Furthermore, when averaged word vectors are trained supervised on large corpora of paraphrases, they achieve state-of-the-art results on standard STS benchmarks. Inspired by these insights, we push the limits of word embeddings even further. We propose a novel fuzzy bag-of-words (FBoW) representation for text that contains all the words in the vocabulary simultaneously but with different degrees of membership, which are derived from similarities between word vectors. We show that max-pooled word vectors are only a special case of fuzzy BoW and should be compared via fuzzy Jaccard index rather than cosine similarity. Finally, we propose DynaMax, a completely unsupervised and non-parametric similarity measure that dynamically extracts and max-pools good features depending on the sentence pair. This method is both efficient and easy to implement, yet outperforms current baselines on STS tasks by a large margin and is even competitive with supervised word vectors trained to directly optimise cosine similarity.

연구 동기 및 목표

• 평균화된 단어 벡터를 넘어서고 max-pooling을 더 우수한 대안으로 간주함으로써 의미적 텍스트 유사도(STS) 성능을 향상시키기 위해.
• 퍼지 집합 이론을 사용하여 max-pooled 단어 벡터를 퍼지 백오프워드(FBoW) 표현의 특수한 경우로 공식화하기 위해.
• 초기 학습 없이 문장 쌍마다 고유한 품질의 특징을 동적으로 추출하고 max-pooling하는 새로운 유사도 측정지표인 DynaMax를 도입하기 위해.
• max-pooled 벡터를 비교할 때 코사인 유사도를 사용하는 것에 도전하고, 이에 더 적합한 측정지표로 퍼지 자카르 지수를 주장하기 위해.
• BCa 부트스트랩 신뢰구간을 사용하여 STS 벤치마크에서의 성능 차이를 철저하고 비모수적으로 평가하기 위해.

제안 방법

• 모든 어휘에 대해 문장의 단어 벡터와의 유사도를 기반으로 소속도를 유도하는 퍼지 백오프워드(FBoW) 표현을 제안한다.
• max-pooled 단어 벡터가 소속도가 가장 높은 단어에 대해 1, 나머지에는 0인 경우에 해당하는 FBoW의 특수한 경우임을 보여준다.
• 퍼지 집합 연산을 사용하여 각 문장 쌍마다 가장 관련성이 높은 특징을 동적으로 식별하고 max-pooling하는 비지도, 비모수적 방법인 DynaMax를 도입한다.
• FBoW 표현 간의 주요 유사도 측정지표로 퍼지 자카르 지수를 사용하며, max-pooled 벡터에 대해 코사인 유사도보다 더 적합하다고 주장한다.
• max-pooling 이전에 단어 벡터에 SIF(Smooth Inverse Frequency) 가중치를 적용하여 성능을 향상시킨다.
• 성능 차이에 대한 철저하고 비모수적인 유의성 검정을 위해 편향 보정 및 가속화된(BCa) 부트스트랩 신뢰구간을 적용한다.

실험 결과

연구 질문

• RQ1 max-pooled 단어 벡터가 퍼지 백오프워드의 특수한 경우로 간주될 때, 의미적 텍스트 유사도 작업에서 평균화된 단어 벡터를 능가할 수 있는가?
• RQ2 퍼지 자카르 지수는 max-pooled 단어 벡터를 비교할 때 코사인 유사도보다 더 적합한 유사도 측정지표인가?
• RQ3 DynaMax처럼 완전히 비지도, 비모수적인 방법이, 코사인 유사도를 직접 최적화하기 위해 훈련된 지도 학습 방법과 유사한 성능을 낼 수 있는가?
• RQ4 제안된 방법은 대규모 파라프라제이션 데이터셋에서 훈련된 최신 지도 학습 단어 벡터와 비교해도 경쟁력이 유지되는가?
• RQ5 철저한 통계적 유의성 검정이 STS 벤치마크 결과 평가에 미치는 영향은 무엇이며, 기존 문헌에서 흔히 사용되는 방법에 비해 어떻게 개선되는가?

주요 결과

• 비지도 단어 벡터를 사용할 때, DynaMax는 모든 STS 벤치마크 작업에서 평균화된 단어 벡터와 코사인 유사도를 초월하며, STS15에서 평균 피어슨 상관계수 73.1을 기록한다.
• PSL 단어 벡터를 사용할 경우, DynaMax-SIF는 STS16에서 평균 상관계수 73.3을 기록하여 Arora 등(2017)의 avg-SIF+PCA 방법보다 1.4점 높은 성능을 낸다.
• DynaMax는 비지도이지만, 코사인 유사도를 최적화하기 위해 훈련된 지도 학습 파라프라제임베딩과 유사한 성능을 보이며, 그 목적과는 무관하게도 성능을 달성한다.
• 퍼지 자카르 지수는 max-pooled 표현의 퍼지 집합 성격을 잘 반영하므로, 코사인 유사도보다 max-pooled 벡터 비교에 더 적합한 측정지표로 입증된다.
• 이 연구는 대부분의 이전 STS 문헌에서 부적절하거나 명시되지 않은 모수적 검정을 사용하고 있음을 드러내며, DynaMax에서 사용된 BCa 부트스트랩 구간은 더 신뢰할 수 있는 유의성 분석을 제공한다.
• 부록의 아블레이션 연구는 DynaMax의 각 구성 요소가 전체 성능에 의미 있는 기여를 하고 있음을 확인한다.