[논문 리뷰] Analyzing the Use of Character-Level Translation with Sparse and Noisy Datasets

Jörg Tiedemann, Preslav Nakov|arXiv (Cornell University)|2021. 09. 27.

Natural Language Processing Techniques참고 문헌 36인용 수 15

한 줄 요약

이 논문은 저자원, 노이즈가 많고 희박한 데이터 세트—특히 커뮤니티 기반으로 수집된 영화 자막—에 대해, 마케도니아어에서 영어로의 번역을 햖을 때 유사한 피벗 언어인 불가리아어를 활용하여 문자 수준의 통계적 기계 번역(SMT)을 조사한다. 문자 수준의 모델이 OOV(사전에 없는 단어) 수를 40퍼센트 이상 감소시키고, 데이터가 적은 환경에서 BLEU 점수를 2~3점 향상시키며, 다중 피벗을 통한 합성 데이터 생성 방식이 계단식 번역 모델보다 우수함을 입증한다.

ABSTRACT

This paper provides an analysis of character-level machine translation models used in pivot-based translation when applied to sparse and noisy datasets, such as crowdsourced movie subtitles. In our experiments, we find that such character-level models cut the number of untranslated words by over 40% and are especially competitive (improvements of 2-3 BLEU points) in the case of limited training data. We explore the impact of character alignment, phrase table filtering, bitext size and the choice of pivot language on translation quality. We further compare cascaded translation models to the use of synthetic training data via multiple pivots, and we find that the latter works significantly better. Finally, we demonstrate that neither word-nor character-BLEU correlate perfectly with human judgments, due to BLEU's sensitivity to length.

연구 동기 및 목표

• 희박하고 노이즈가 많은 데이터 세트, 예를 들어 커뮤니티 기반 영화 자막과 같은 저자원 기계 번역 문제를 해결한다.
• 기존의 어절 수준 모델이 어려움을 겪는 데이터가 적은 환경에서 문자 수준의 SMT 모델의 효과성을 탐색한다.
• 피벗 언어 선택, 어휘표 필터링, 문자 수준 정렬, 데이터 크기 등 번역 품질에 미치는 영향을 조사한다.
• 성능 향상을 위해 단일 피벗을 사용한 계단식 번역과 다중 피벗을 활용한 합성 데이터 생성 방식을 비교한다.
• 자동 평가 지표(BLEU)와 인간 평가 간의 상관관계를 분석하며, 문장 길이 민감성에 특히 주목한다.

제안 방법

• 문자들을 단위로 간주하여 어절 기반 SMT 모델을 학습하고, 공백은 특수 토큰으로 처리하며, 어절 길이와 언어 모델 순서를 최대 10까지 허용한다.
• 소스 문장과 타겟 문장을 문자 수준에서 정렬하는 문자 수준 정렬 알고리즘을 적용하여, 부분어미 수준의 번역을 가능하게 한다.
• 어휘표 정제 및 필터링을 통해 모델의 효율성과 번역 품질을 향상시킨다.
• 다중 피벗 언어(예: 마케도니아어 → 불가리아어 → 영어)를 연결하여 합성 학습 데이터를 생성하고, 언어 간 유사성을 활용한다.
• 어휘 수준과 문자 수준의 모델을 융합하여 어휘 수준과 부분어미 수준의 매핑을 동시에 활용한다.
• Cohen의 카파 계수를 활용한 수동 인간 평가를 수행하여 평가자 간 일치도를 평가하고, BLEU 점수와 인간 평가 결과를 비교한다.

실험 결과

연구 질문

• RQ1 저자원, 노이즈가 많은 데이터 세트에서 문자 수준의 SMT 모델은 OOV 단어를 얼마나 효과적으로 줄일 수 있는가?
• RQ2 희박한 데이터 환경에서 문자 정렬, 어휘표 필터링, 피벗 언어 선택이 번역 품질에 미치는 영향은 어떠한가?
• RQ3 다중 피벗을 활용한 합성 데이터 생성 방식은 단일 피벗을 사용한 계단식 번역보다 성능이 뛰어나다고 할 수 있는가?
• RQ4 어휘 수준과 문자 수준의 BLEU 점수는 인간 평가와 얼마나 상관관계가 깊은가? 특히 문장 길이의 영향을 고려할 때 어떻게 되는가?
• RQ5 문자 수준의 모델은 사용자 생성 콘텐츠에서 흔히 발생하는 철자 오류, 형태소 변형, 토큰화 오류에 얼마나 강건한가?

주요 결과

• 문자 수준의 SMT 모델은 어휘 수준 모델 대비 번역되지 않은 단어 수를 40퍼센트 이상 감소시켜 유창성과 정보 유지도를 크게 향상시킨다.
• 데이터가 적은 환경에서 문자 수준 모델은 어휘 수준 기반 모델 대비 BLEU 점수를 2~3점 향상시키며, 제한된 병렬 데이터로도 뛰어난 성능을 보여준다.
• 다중 피벗을 통한 합성 데이터 생성 방식은 모든 계단식 번역 설정을 능가하며, 기준 모델 대비 BLEU 점수 14점 향상 효과를 보였다.
• 가설/기준 문장 길이 비율이 BLEU 점수에 큰 영향을 미친다: 비율이 1.0에 가까운 경우(예: 1.006) BLEU 점수가 더 높으며, 이는 인간 순위와 BLEU 순위 간 괴리의 원인을 설명한다.
• 인간 평가자 간 일치도는 거의 완벽한 수준(Cohen’s Kappa > 0.83)을 보였지만, BLEU 점수는 문장 길이 민감성으로 인해 인간 평가와 완전히 일치하지는 않았다.
• 문자 수준 모델은 형태소 변형, 철자 오류, 단어 경계 오류에 매우 강건하여 자막에서 흔히 발생하는 문제들을 효과적으로 해결하며, 희귀하거나 알 수 없는 형태(예: 'razveselam' → 'razveselya' → 'cheer you up')도 정확히 번역할 수 있다.