[논문 리뷰] Improving English to Sinhala Neural Machine Translation using Part-of-Speech Tag

Ravinga Perera, Thilakshi Fonseka외 2명|arXiv (Cornell University)|2022. 02. 17.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 영어-僧伽라어 신경 기계 번역(NMT)의 성능을 향상시키기 위해 변환기 모델의 입력 임bedding과 위치 인코딩에 품사 태그(POS)를 통합하는 방법을 제안한다. POS 임베딩을 서브워드 임베딩에 연결한 최고 성능 모델은 베이스라인 대비 0.92 높은 BLEU 점수 30.84를 기록하며, 저자원 환경에서 언어학적 특징이 번역 품질 향상에 기여함을 입증한다.

ABSTRACT

The performance of Neural Machine Translation (NMT) depends significantly on the size of the available parallel corpus. Due to this fact, low resource language pairs demonstrate low translation performance compared to high resource language pairs. The translation quality further degrades when NMT is performed for morphologically rich languages. Even though the web contains a large amount of information, most people in Sri Lanka are unable to read and understand English properly. Therefore, there is a huge requirement of translating English content to local languages to share information among locals. Sinhala language is the primary language in Sri Lanka and building an NMT system that can produce quality English to Sinhala translations is difficult due to the syntactic divergence between these two languages under low resource constraints. Thus, in this research, we explore effective methods of incorporating Part of Speech (POS) tags to the Transformer input embedding and positional encoding to further enhance the performance of the baseline English to Sinhala neural machine translation model.

연구 동기 및 목표

• 구문적 차이와 제한된 병렬 코퍼스로 인해 영어-僧伽라어 신경 기계 번역의 번역 성능이 낮은 문제를 해결하기 위해.
• 저자원 언어 쌍에서 품사(POS) 태깅을 통합하면 번역 품질이 향상되는지 조사하기 위해.
• 두 가지 다른 통합 방법을 평가하기 위해: (1) 입력 표현에 POS 임베딩 통합, (2) 위치 인코딩에 POS 통합.
• 정부 문서를 병렬 코퍼스로 사용하여 도메인 특화 NMT 시스템을 개발하기 위해.
• 僧伽라어와 같이 형태소적으로 풍부한 저자원 언어에 대해 POS 통합 NMT의 벤치마크를 설정하기 위해.

제안 방법

• 기본 NMT 모델로 변환기 아키텍처를 사용하며, 입력 임베딩을 서브워드 임베딩과 POS 임베딩을 연결하여 확장한다.
• 영어의 모든 학습, 검증, 테스트 셋에 대해 스탠포드 POS 태거를 사용해 품사 태그를 할당한다.
• 두 가지 통합 전략을 평가한다: (1) POS 임베딩을 입력 임베딩과 결합하는 것, (2) POS 정보로 위치 인코딩을 수정하는 것.
• 모든 데이터셋에 대해 OOV 및 희귀어 처리를 위해 바이트-페어 인코딩(BPE)을 적용한다.
• POS 통합의 영향을 분리하기 위해 하이퍼파라미터를 기존 모델과 동일하게 유지한다.
• Adam 옵timizer를 사용해 모델을 훈련시키며, 표준 학습률을 적용하고, 비트 크기=5, 길이 페널티=1.2인 빔 서치 디코딩을 사용한다.

실험 결과

연구 질문

• RQ1 변환기 NMT 모델의 입력 임베딩에 품사(POS) 태그를 통합하면 저자원 영어-僧伽라어 언어 쌍의 번역 품질 향상에 기여하는가?
• RQ2 형태소적으로 풍부하고 저자원인 언어에서 위치 인코딩에 POS 정보를 통합하면 NMT 성능이 향상되는가, 아니면 악화되는가?
• RQ3 저자원 NMT 시스템에서 기존의 언어학적 특징 통합과 비교할 때, POS 통합은 BLEU 점수 향상 측면에서 얼마나 우수한가?
• RQ4 변환기 아키텍처 내에서 다양한 통합 전략에 대해 POS 통합의 성능 향상 효과가 견고한가?
• RQ5 정부 문서에서 유래한 도메인 특화 병렬 코퍼스가僧伽라어에 대한 효과적인 POS 보강 NMT 훈련을 지원할 수 있는가?

주요 결과

• 입력 임베딩에 POS 태그를 통합한 모델은 BLEU 점수 30.84를 기록하며, 기존 모델의 29.92 점수 대비 0.92 향상되었다.
• 위치 인코딩에 POS 정보를 통합한 모델는 기존 모델보다 성능이 열 劣하므로 BLEU 점수 28.75를 기록하며, 이는 원래의 위치 정보가 손상됨을 시사한다.
• 저자원 NMT 환경에서 성과 향상은 일반적으로 미미한 편이지만, POS 통합으로 인한 향상은 의미 있는 수준이다.
• 최고 성능 모델은 테스트 세트의 정성적 예시에서 더 정확하고 맥락에 부합하는僧伽라어 번역을 생성한다.
• POS 태깅은 어휘 의미의 모호성 해소(예: 'book'을 명사 또는 동사로 간주)에 도움을 주며, 목표 언어에서 더 나은 형태소 일치를 이끈다.
• 결과적으로 언어학적 특징, 특히 POS 태그가 제한된 병렬 데이터 조건에서도 NMT 성능 향상에 효과적으로 기여할 수 있음을 확인한다.