[논문 리뷰] Intelligent Translation Memory Matching and Retrieval with Sentence Encoders

Tharindu Ranasinghe, Constantin Orǎsan외 1명|arXiv (Cornell University)|2020. 04. 27.

Natural Language Processing Techniques참고 문헌 22인용 수 11

한 줄 요약

이 논문은 전통적인 편집 거리 기반 매칭을 대체하여 번역 메모리(TM) 시스템에서 문장 인코더, 특히 유니버설 문장 인코더를 사용하여 어순적으로는 다를 수 있지만 의미적으로 유사한 번역 세그먼트를 개선된 방식으로 검색하고자 한다. 이 방법은 특히 낮은 유사도 범위(0.6–0.8)에서 편집 거리보다 유의미하게 뛰어난 성능을 보이며, 평균 의미적 텍스트 유사도 점수는 0.768로 나타나 번역 생산성이 향상됨을 시사한다.

ABSTRACT

Matching and retrieving previously translated segments from a Translation Memory is the key functionality in Translation Memories systems. However this matching and retrieving process is still limited to algorithms based on edit distance which we have identified as a major drawback in Translation Memories systems. In this paper we introduce sentence encoders to improve the matching and retrieving process in Translation Memories systems - an effective and efficient solution to replace edit distance based algorithms.

연구 동기 및 목표

• 편집 거리가 번역 세그먼트 간의 의미적 유사성을 포착하는 데 한계가 있음을 해결하기 위해.
• 편집 거리를 딥러닝 기반 문장 인코더로 대체하여 번역 메모리 시스템 내의 퍼지 매칭 검색 성능을 향상시키기 위해.
• 유니버설 문장 인코더가 기존 방법보다 더 의미적으로 관련성이 높은 번역 세그먼트를 검색할 수 있는지 평가하기 위해.
• 낮은 유사도 범위에서 더 나은 매칭 세그먼트를 검색함으로써 문장 인코더가 번역 생산성을 향상시킬 잠재력을 평가하기 위해.
• 유니버설 문장 인코더의 다국어 버전을 활용하여 이 방법을 다국어 TM 시스템으로 확장할 수 있는지 탐색하기 위해.

제안 방법

• 유니버설 문장 인코더를 사용하여 소스 및 타겟 세그먼트를 조밀한 벡터 표현으로 임bedding한다.
• 문장 임베딩 간의 코사인 유사도를 사용하여 의미적 유사도를 계산함으로써 편집 거리를 대체한다.
• 최고의 의미적 유사도 점수를 기반으로 번역 단위를 검색하며, 어순적 중복은 고려하지 않는다.
• 인간이 애너테이션한 의미적 텍스트 유사도(STS) 점수를 골드 표준으로 사용하여 실제 TM 데이터를 기반으로 시스템을 평가한다.
• 상용 TM에서 사용하는 표준 Okapi BM25 기반 퍼지 매칭 알고리즘과 비교한다.
• 실험은 영어-스페인어 TM 데이터셋을 대상으로 하며, 결과는 퍼지 매칭 점수 범위별로 분석된다.

실험 결과

연구 질문

• RQ1 유니버설 문장 인코더와 같은 문장 인코더가 편집 거리 기반 방법보다 더 의미적으로 관련성이 높은 번역 세그먼트를 검색할 수 있는가?
• RQ2 유니버설 문장 인코더의 성능은 낮은 퍼지 매칭 점수 범위(예: 0.6–0.8)에서 기존 TM 매칭 알고리즘과 비교해 어떻게 나타나는가?
• RQ3 검색된 세그먼트의 의미적 유사도가 인간 애너테이션 기반 STS 점수와 얼마나 상관이 있는가?
• RQ4 표준 TMs가 실패하는 경우에도 문장 인코더를 사용하여 더 나은 매칭 세그먼트를 검색함으로써 번역 생산성을 향상시킬 수 있는가?
• RQ5 유니버설 문장 인코더의 다국어 기능은 이 접근법을 영어 외 언어 쌍으로 확장하는 데 적합한가?

주요 결과

• 유니버설 문장 인코더는 특히 퍼지 매칭 점수 범위 0.6–0.8에서 편집 거리 기반 방법보다 의미적으로 더 유사한 세그먼트를 검색하는 데 뛰어난 성능을 보였다.
• 퍼지 매칭 점수 0.6–0.8 범위에서 유니버설 문장 인코더가 검색한 세그먼트의 평균 의미적 텍스트 유사도(STS) 점수는 0.768로, 높은 의미적 관련성을 나타냈다.
• 퍼지 매칭 점수 0.8 이하의 범위에서는 유니버설 문장 인코더가 Okapi 기반 시스템보다 항상 더 나은 매칭을 제공했다.
• 퍼지 매칭 점수 0.8–1.0 범위에서는 평균 STS 점수가 0.952로 나타나 높은 유사도 케이스에서도 강력한 성능을 보였다.
• 이 방법은 기존 TMs가 일반적으로 기각하는 범위에서도 사용 가능한 매칭을 검색함으로써 번역 생산성 향상 잠재력을 보여주었다.
• 결과적으로 문장 인코더가 TM 시스템의 핵심 유사도 측정 기준으로 편집 거리를 효과적으로 대체할 수 있음을 시사한다.