[논문 리뷰] Data Selection with Feature Decay Algorithms Using an Approximated Target Side

Alberto Poncelas, Gideon Maillette de Buy Wenniger외 1명|arXiv (Cornell University)|2018. 11. 07.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 신경 기계 번역(NMT) 데이터 선택을 위한 기능 감쇠 알고리즘(FDA)을 향상시키기 위해 표준 소스 측 테스트 세트 외에도 사전 번역을 통해 근사된 타겟 측 출력을 통합함으로써 제안한다. 이 방법은 테스트 입력의 의미와 도메인과 더 관련성이 높은 문장 쌍을 선택함으로써 번역 품질을 향상시키며, 전체 데이터 학습 대비 통계적으로 유의미한 1.5 이상 BLEU 포인트 향상을 달성하고, 소스 측 전용 FDA 기반 모델 대비 0.5 이상 BLEU 향상을 기록한다.

ABSTRACT

Data selection techniques applied to neural machine translation (NMT) aim to increase the performance of a model by retrieving a subset of sentences for use as training data. One of the possible data selection techniques are transductive learning methods, which select the data based on the test set, i.e. the document to be translated. A limitation of these methods to date is that using the source-side test set does not by itself guarantee that sentences are selected with correct translations, or translations that are suitable given the test-set domain. Some corpora, such as subtitle corpora, may contain parallel sentences with inaccurate translations caused by localization or length restrictions. In order to try to fix this problem, in this paper we propose to use an approximated target-side in addition to the source-side when selecting suitable sentence-pairs for training a model. This approximated target-side is built by pre-translating the source-side. In this work, we explore the performance of this general idea for one specific data selection approach called Feature Decay Algorithms (FDA). We train German-English NMT models on data selected by using the test set (source), the approximated target side, and a mixture of both. Our findings reveal that models built using a combination of outputs of FDA (using the test set and an approximated target side) perform better than those solely using the test set. We obtain a statistically significant improvement of more than 1.5 BLEU points over a model trained with all data, and more than 0.5 BLEU points over a strong FDA baseline that uses source-side information only.

연구 동기 및 목표

• NMT에서 이행적 데이터 선택의 한계를 해결하기 위해, 소스 측 테스트 세트에만 의존하여 번역 품질이 낮거나 정확하지 않은 문장을 선택할 수 있는 문제를 해결한다.
• 테스트 세트의 사전 번역을 통해 유도된 근사된 타겟 측 정보를 통합함으로써 데이터 선택의 관련성을 향상시킨다.
• 소스 측과 타겟 측 FDA 출력을 조합할 경우, 단지 소스 측만을 사용하는 것보다 더 나은 NMT 모델 성능을 달성하는지 조사한다.
• 합성 타겟 측 데이터가 도메인 특화 번역 작업에서 학습 데이터의 다양성과 모델 일반화 능력에 미치는 영향을 평가한다.

제안 방법

• 초기 NMT 모델을 사용하여 소스 측 테스트 세트를 사전 번역하여 근사된 타겟 측 출력(test_trg)을 생성한다.
• 소스 측 테스트 세트(test_src)와 사전 번역된 타겟 측(test_trg) 각각에 대해 기능 감쇠 알고리즘(FDA)을 독립적으로 적용하여 관련 학습 문장 쌍을 검색한다.
• FDA_src와 FDA_trg의 출력을 가중 혼합하여 조합하며, 하이퍼파라미터 α가 두 집합 간의 균형을 조절한다.
• 결합된 학습 데이터를 사용하여 독일어-영어 NMT 모델을 미세조정하고, BLEU 점수를 통해 성능을 평가한다.
• 각 구성 요소의 기여도와 FDA_src 및 FDA_trg 출력 간의 데이터 겹침 효과를 분석하기 위해 추론 실험을 수행한다.
• 비교를 위해 전체 데이터 학습의 강력한 기준 모델과 소스 측 전용 FDA 기준 모델을 사용한다.

실험 결과

연구 질문

• RQ1 FDA에 근사된 타겟 측을 통합할 경우, 단지 소스 측 테스트 세트만을 사용하는 것보다 NMT 모델 성능이 향상되는가?
• RQ2 소스 측과 타겟 측 FDA 출력의 조합이 데이터 다양성과 모델 일반화에 어떤 영향을 미치는가?
• RQ3 FDA_src와 FDA_trg 출력 간의 데이터 겹침이 모델 성능과 학습 데이터 품질에 어떤 영향을 미치는가?
• RQ4 테스트 세트의 사전 번역이 이행적 데이터 선택에서 타겟 측 관련성에 대한 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ5 FDA 출력의 가중 조합이 한 쪽을 지배하거나 등비로 조합하는 것보다 더 나은 결과를 낳는가?

주요 결과

• 소스 측과 근사된 타겟 측 양측을 모두 사용한 FDA 출력의 조합을 통해 학습한 모델은 전체 학습 세트를 사용한 학습 대비 통계적으로 유의미한 1.5 이상 BLEU 포인트 향상을 기록했다.
• 결합된 FDA 접근 방식은 강력한 소스 측 전용 FDA 기준 모델 대비 0.5 이상 BLEU 포인트 향상을 기록하여 타겟 측 정보의 가치를 입증했다.
• 학습 데이터 내 고유한 문장 쌍 수는 82%에서 94% 사이로 변동하였으며, 이는 FDA_src와 FDA_trg가 특히 낮은 데이터 크기에서 상당히 다른 문장 쌍을 검색하고 있음을 시사한다.
• 선택된 문장 수가 증가함에 따라 FDA_src와 FDA_trg 출력 간 겹침 비율이 증가하여 고유 라인 비율이 50만 건일 때 94%에서 200만 건일 때 82%로 감소했으며, 이는 검색 행동의 수렴을 시사한다.
• 장면 자막 코퍼스에서 길이나 시간 제약로 인해 번역이 정확하지 않을 수 있는 문제를 효과적으로 완화하며, 더 정확하거나 맥락적으로 관련성이 높은 번역을 가진 문장 쌍을 우선적으로 선택함으로써 성능 향상을 달성한다.
• 결과는 합성 타겟 측 데이터가 도메인 특화 또는 자원이 제한된 환경에서 데이터 선택에 있어 유용한 신호가 될 수 있음을 시사한다.