[논문 리뷰] Enriching the Transformer with Linguistic and Semantic Factors for Low-Resource Machine Translation.

Jordi Armengol-Estapé, Marta R. Costa‐jussà외 1명|arXiv (Cornell University)|2020. 04. 17.

Natural Language Processing Techniques인용 수 2

한 줄 요약

이 논문은 저자원 기계 번역을 향상시키기 위해 언어학적 및 의미적 요소를 모델에 통합한 수정된 트랜스포머 아키텍처인 Factored Transformer을 제안한다. 별도의 조합 전략을 사용하여 임bedding 또는 인코더 수준에서 외부 지식을 요소로 삽입함으로써, IWSLT 독일어-영어 번역에서 +0.8 BLEU, FLoRes 영어-네파리 번역에서 +1.2 BLEU의 성과를 달성하였으며, 언어학적 요소가 의미적 요소보다 더 효과적인 것으로 나타났다.

ABSTRACT

Introducing factors, that is to say, word features such as linguistic information referring to the source tokens, is known to improve the results of neural machine translation systems in certain settings, typically in recurrent architectures. This study proposes enhancing the current state-of-the-art neural machine translation architecture, the Transformer, so that it allows to introduce external knowledge. In particular, our proposed modification, the Factored Transformer, uses factors, either linguistic or semantic, that insert additional knowledge into the machine translation system. Apart from using different kinds of features, we study the effect of different architectural configurations. Specifically, we analyze the performance of combining words and features at the embedding level or at the encoder level, and we experiment with two different combination strategies. With the best-found configuration, we show improvements of 0.8 BLEU over the baseline Transformer in the IWSLT German-to-English task. Moreover, we experiment with the more challenging FLoRes English-to-Nepali benchmark, which includes both extremely low-resourced and very distant languages, and obtain an improvement of 1.2 BLEU. These improvements are achieved with linguistic and not with semantic information.

연구 동기 및 목표

• 저자원 기계 번역을 향상시키기 위해 외부 언어학적 및 의미적 지식을 트랜스포머 아키텍처에 통합하기 위한 목표.
• 특히 단어와 요소를 임bedding 수준 또는 인코더 수준에서 조합하는 다양한 아키텍처 구성이 번역 성능에 미치는 영향을 조사하기 위한 목표.
• 저자원 환경에서 언어학적 요소와 의미적 요소의 효과성을 평가하기 위한 목표.
• 저자원 환경에서 번역 성능 향상을 극대화하는 최적의 요소 조합 전략을 특정하기 위한 목표.
• 구조화된 언어학적 지식을 주의 기반 트랜스포머 프레임워크에 통합하는 것이 타당하고 효과적인지 입증하기 위한 목표.

제안 방법

• 외부 요소(예: 품사 태그 또는 의미 임베딩)를 추가 입력으로 통합한 수정된 트랜스포머인 Factored Transformer를 제안.
• 임bed딩 수준 또는 인코더 레이어에서 요소를 통합함으로써, 별도의 아키텍처 구성 가능.
• 단일화 및 요소 간 덧셈의 두 가지 별도의 조합 전략을 사용하여 단어 표현과 요소 표현을 융합.
• IWSLT 및 FLoRes 벤치마크를 포함한 저자원 번역 작업에서 모델을 종합적으로 훈련.
• 외부 지식 소스로 언어학적 특징(예: 품사 태그)과 의미적 특징(예: 단어 임베딩)을 사용.
• 기본 저자원 번역 벤치마크에서 BLEU 점수를 사용해 모델 성능 평가.

실험 결과

연구 질문

• RQ1 트랜스포머 아키텍처에 언어학적 및 의미적 요소를 통합할 경우, 저자원 환경에서 번역 성능에 어떤 영향을 미치는가?
• RQ2 임bedding 수준에서 요소를 조합하는 것이 인코더 수준에서 조합하는 것보다 더 좋은 성능을 내는가?
• RQ3 단일화 전략과 요소 간 덧셈 중 어느 것이 더 뛰어난 성능을 내는가?
• RQ4 저자원 기계 번역에서 언어학적 요소가 의미적 요소보다 더 효과적인가?
• RQ5 Factored Transformer는 도전적인 저자원 벤치마크에서 표준 트랜스포머보다 뚜렷한 향상을 이룰 수 있는가?

주요 결과

• Factored Transformer는 저자원 번역 작업인 IWSLT 독일어-영어 번역에서 표준 트랜스포머 대비 +0.8 BLEU 향상을 달성하였다.
• 더 도전적인 FLoRes 영어-네파리 벤치마크에서는 번역 성능이 +1.2 BLEU 향상되었다.
• 저자원 환경에서 품사 태그와 같은 언어학적 요소가 의미적 요소보다 더 큰 성과 향상을 이끌어냈다.
• 요소를 인코더 수준에서 단일화 전략을 사용해 조합할 경우 가장 뛰어난 성능을 기록하였다.
• 요소를 통한 외부 지식 통합은 트랜스포머의 저자원 시나리오에서 일반화 능력을 크게 향상시켰다.
• 제안된 방법은 대규모 병렬 코퍼스가 필요 없이도, 구조화된 언어학적 지식을 아키텍처 수정을 통해 효과적으로 통합함으로써 번역 품질 향상을 이끌 수 있음을 보여주었다.