[논문 리뷰] Multitask Learning For Different Subword Segmentations In Neural Machine Translation

Tejas Srinivasan, Ramon Sanabria외 1명|arXiv (Cornell University)|2019. 11. 02.

Natural Language Processing Techniques참고 문헌 28인용 수 2

한 줄 요약

이 논문은 블록 다중작업 학습(BMTL)을 제안하며, 최적의 분할을 수동으로 선택할 필요 없이 다중 서브어휘 정밀도—예를 들어 단어, 서브어휘, 문자 수준—에서 번역을 동시에 예측하는 신경 기계 번역 아키텍처이다. 동일한 파라미터 수를 가진 단일 작업 기반 모델보다 최대 1.7 BLEU 포인트 향상된 성능을 달성하며, 다양한 정밀도 수준의 출력을 후처리 단계에서 조합함으로써 번역 품질을 향상시킨다.

ABSTRACT

In Neural Machine Translation (NMT) the usage of sub􏰃words and characters as source and target units offers a simple and flexible solution for translation of rare and unseen words. However, selecting the optimal subword segmentation involves a trade-off between expressiveness and flexibility, and is language and dataset-dependent. We present Block Multitask Learning (BMTL), a novel NMT architecture that predicts multiple targets of different granularities simultaneously, removing the need to search for the optimal segmentation strategy. Our multi-task model exhibits improvements of up to 1.7 BLEU points on each decoder over single-task baseline models with the same number of parameters on datasets from two language pairs of IWSLT15 and one from IWSLT19. The multiple hypotheses generated at different granularities can be combined as a post-processing step to give better translations, which improves over hypothesis combination from baseline models while using substantially fewer parameters.

연구 동기 및 목표

• 서브어휘 분할에 대한 수동 하이퍼파라미터 튜닝이 필요 없도록 다중 정밀도 수준을 동시에 학습함으로써 이를 제거하는 것.
• 다양한 언어와 데이터셋에서 서브어휘 분할 전략의 표현력과 유연성 사이의 상충 관계를 해결하는 것.
• 후처리 단계에서 다양한 정밀도 수준의 가설을 조합함으로써 번역 품질을 향상시키는 것.
• 모든 예측 헤드 간에 파라미터를 공유함으로써 성능을 높이면서도 단일 작업 모델에 비해 성능 향상을 이끌어내는 모델 효율성 유지를 위한 것.

제안 방법

• 단일 인코더-디코더 아키텍처 내에서 단어 수준, 서브어휘 수준, 문자 수준 등의 다양한 서브어휘 정밀도에서 출력을 예측하는 다중작업 NMT 프레임워크 설계.
• 각각 특정 정밀도 수준에서 번역을 생성하도록 맞춤형으로 설정된 다수의 병렬 디코더 헤드를 갖춘 공유 인코더 사용.
• 각 정밀도 수준에서의 교차 엔트로피 손실를 조합한 공유 손실 함수를 사용해 모든 헤드를 동시에 훈련.
• 다양한 정밀도 수준에서 생성된 다중 가설을 조합하여 최종 번역을 도출하는 후처리 전략 적용.
• 모든 정밀도 헤드 간에 인코더와 대부분의 디코더 구성 요소를 공유함으로써 파라미터 효율성 확보.
• 각 분할 전략에 대해 별도로 훈련할 필요 없이, 모든 정밀도 수준에서의 성능를 균형 있게 유지할 수 있도록 엔드 투 엔드로 모델 최적화.

실험 결과

연구 질문

• RQ1 동일한 성능이나 파라미터 효율성에 손상이 가지 않도록 다중 서브어휘 정밀도에서 번역을 동시에 예측할 수 있는 단일 NMT 모델이 가능한가?
• RQ2 다양한 정밀도 수준을 동시에 학습하는 것이 단일 분할 전략에 최적화된 경우보다 더 나은 번역 품질을 제공하는가?
• RQ3 다양한 정밀도 수준의 가설을 후처리 단계에서 조합하는 것이 더 적은 파라미터를 사용하면서도 표준 앙상블 방법을 능가하는가?
• RQ4 동일한 파라미터 수를 가진 단일 작업 모델과 비교할 때 제안된 BMTL 모델은 BLEU 점수와 다양한 언어 쌍 간의 강인성 측면에서 어떻게 성능을 내는가?

주요 결과

• BMTL은 동일한 파라미터 수를 가진 단일 작업 기반 모델 대비 IWSLT15 및 IWSLT19 데이터셋에서 최대 1.7 BLEU 포인트 향상된 성능을 달성한다.
• 각 분할 수준에 대해 별도의 훈련이나 하이퍼파라미터 튜닝 없이도 모든 정밀도 수준에서 우수한 성능를 유지한다.
• 다양한 정밀도 수준에서 생성된 가설의 후처리 조합은 단일 작업 모델에서 유사한 조합보다 더 나은 번역을 도출한다.
• 일般적으로 언어 및 데이터셋에 따라 달라지는 서브어휘 분할 전략에 대한 광범위한 탐색이 필요 없어진다.
• 단일 모델 내에서 다중 정밀도 예측이 효율적으로 생성되어 파라미터 효율성과 확장성 모두를 입증한다.
• IWSLT15의 두 언어 쌍과 IWSLT19의 한 언어 쌍에서 일관된 성능 향상을 보이며 광범위한 적용 가능성을 보여준다.