[논문 리뷰] Why Not Simply Translate? A First Swedish Evaluation Benchmark for Semantic Similarity

Tim Isbister, Magnus Sahlgren|arXiv (Cornell University)|2020. 09. 07.

Topic Modeling참고 문헌 9인용 수 6

한 줄 요약

이 논문은 Google의 NMT API를 통해 영문 STS-B 데이터셋을 스웨덴어로 번역하여 스웨덴어의 의미적 텍스트 유사도 평가 벤치마크를 처음으로 제안한다. 번역 오류로 인한 영문식 어휘와 시제 불일치와 같은 문제에도 불구하고, 이 벤치마크는 스웨덴어 텍스트 표현의 평가를 가능하게 하며, 현지 모델인 KB/BERT가 다국어 모델보다 뛰어난 성능을 보이며, 단순한 bag-of-words와 SVM 조합 역시 경쟁력 있는 성능을 기록함 (r=0.704).

ABSTRACT

This paper presents the first Swedish evaluation benchmark for textual semantic similarity. The benchmark is compiled by simply running the English STS-B dataset through the Google machine translation API. This paper discusses potential problems with using such a simple approach to compile a Swedish evaluation benchmark, including translation errors, vocabulary variation, and productive compounding. Despite some obvious problems with the resulting dataset, we use the benchmark to compare the majority of the currently existing Swedish text representations, demonstrating that native models outperform multilingual ones, and that simple bag of words performs remarkably well.

연구 동기 및 목표

• 스웨덴어에서 의미적 텍스트 유사도 평가를 위한 공개된 데이터 부족 문제를 해결하기 위해.
• 기계 번역을 활용하여 스웨덴어 텍스트 표현 평가를 위한 저비용·확장 가능한 벤치마크를 구축하기 위해.
• 다국어 및 현지 모델을 포함한 다양한 스웨덴어 텍스트 표현 모델의 성능을 비교하기 위해.
• 번역 오류가 모델 평가 및 후속 적용에 미치는 영향을 평가하기 위해.
• 단순한 모델, 예를 들어 bag-of-words가 새로운 벤치마크에서 강력한 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• Google의 신경 기계 번역(NMT) API를 사용해 영문 STS-B 데이터셋을 스웨덴어로 번역한다.
• 번역된 스웨덴어 문장 쌍을 의미 유사도 모델 평가를 위한 벤치마크로 사용한다.
• 다양한 텍스트 표현 모델 평가: fastText, BERT 변종(KB/BERT, AF/BERT), XLM-R, LASER, LaBSE, SBERT.
• 단어 벡터 평균화( fastText, BERT) 또는 맥락 기반 표현(LASER, LaBSE)을 통해 문장 임베딩을 계산한다.
• 번역된 데이터를 사용해 지도 학습 모델(SBERT, 미세조정된 BERT)을 훈련하고, 유사도 스코어 산출에 코사인 유사도 또는 회귀 출력을 사용한다.
• 황금 표준 인간 유사도 스코어와의 피어슨 상관계수를 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기계 번역된 영문 STS-B 데이터셋이 스웨덴어 의미 유사도 모델 평가를 위한 타당한 벤치마크로 활용될 수 있는가?
• RQ2 스웨덴어 데이터에 대해 미세조정된 현지 스웨덴어 언어 모델이 다국어 모델 대비 의미 유사도 성능에서 어떻게 비교되는가?
• RQ3 영문식 어휘, 시제 불일치, 복합어 사용 등의 번역 오류가 모델 평가에 어떤 영향을 미치는가?
• RQ4 bag-of-words와 같은 단순한 비맥락 기반 모델이 새로운 벤치마크에서 경쟁력 있는 성능을 낼 수 있는가?
• RQ5 XLM-R 및 LaBSE와 같은 다국어 모델을 사용한 교차 언어 전이가 스웨덴어 STS 벤치마크에서 얼마나 효과적인가?

주요 결과

• 번역 오류가 포함된 기계 번역 스웨덴어 STS-B 벤치마크는 영문식 어휘와 시제 불일치 등의 문제에도 불구하고, 모델 비교에 있어서 사용 가능한 것으로 밝혀졌다.
• 스웨덴어 데이터에 대해 미세조정된 현지 BERT 모델(KB/BERT 등)이 가장 높은 성능을 기록했으며, 피어슨 상관계수는 0.782를 기록했다.
• 단순한 bag-of-words와 지지 벡터 회귀가 상관계수 0.704를 달성하여, 낮은 계산 비용에도 불구하고 높은 경쟁력을 보였다.
• 다국어 모델 중에서는 LASER가 비지도 설정에서 가장 뛰어난 성능을 보였으며(r=0.714), 영문 STS-B에서 미세조정된 SBERT가 XLM-R의 성능을 r=0.751로 향상시켰다.
• 다국어 모델을 스웨덴어 데이터에 대해 미세조정하면 성능 향상이 더해지며, 교차 언어 전이의 가치를 입증했다.
• 틀린 시제나 비표준 어휘(예: 'tar fart'가 'taking off'를 의미함) 등의 번역 오류는 문장 쌍 간 일관성이 유지되는 한, 모델 비교에 있어 벤치마크의 유용성을 크게 떨어뜨리지 않았다.