[논문 리뷰] Adaptation of Machine Translation Models with Back-translated Data using Transductive Data Selection Methods

Alberto Poncelas, Gideon Maillette de Buy Wenniger외 1명|arXiv (Cornell University)|2019. 06. 18.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 일반 도메인 신경 기계 번역(NMT) 모델을 특정 도메인에 적응시키기 위해 배경 번역된 합성 데이터에 대해 전도적 데이터 선택 방법—희귀 n-그램 복구(INR) 및 특성 감쇠 알고리즘(FDA)—을 사용하는 것을 제안한다. 배경 번역된 데이터의 노이즈가 존재하더라도, 테스트 세트와의 n-그램 겹침을 기반으로 합성 문장을 선택하면 번역 성능이 향상되며, 근사화된 타겟 측 번역을 시드로 사용하는 온라인 처리 방식이 배치 처리 방식보다 성능이 뛰어나다.

ABSTRACT

Data selection has proven its merit for improving Neural Machine Translation (NMT), when applied to authentic data. But the benefit of using synthetic data in NMT training, produced by the popular back-translation technique, raises the question if data selection could also be useful for synthetic data? In this work we use Infrequent N-gram Recovery (INR) and Feature Decay Algorithms (FDA), two transductive data selection methods to obtain subsets of sentences from synthetic data. These methods ensure that selected sentences share n-grams with the test set so the NMT model can be adapted to translate it. Performing data selection on back-translated data creates new challenges as the source-side may contain noise originated by the model used in the back-translation. Hence, finding n-grams present in the test set become more difficult. Despite that, in our work we show that adapting a model with a selection of synthetic data is an useful approach.

연구 동기 및 목표

• 전도적 데이터 선택(TDS) 방법이 합성 배경 번역 데이터를 사용하여 NMT 모델 적응을 향상시킬 수 있는지 조사하기.
• 효율성과 효과성을 중시하여 TDS를 합성 데이터에 적용하는 데 있어 배치 처리와 온라인 처리 전략을 비교하기.
• 실제 소스 측 테스트 세트가 없을 경우, 테스트 세트의 근사화된 타겟 측 번역을 시드로 사용할 때 번역 품질 향상 여부 평가하기.
• 배경 번역된 데이터의 노이즈가 n-그램 복구 및 선택 성능에 미치는 영향 분석하기.
• TDS를 통해 선택된 합성 데이터가 도메인 적응 작업에서 실제 도메인 내 데이터를 초월하거나 보완할 수 있는지 판단하기.

제안 방법

• 테스트 세트에 존재하는 희귀 n-그램을 기반으로 점수를 매기고, 이미 선택된 문장은 보상 감소를 적용하여, 합성 문장을 선별하기 위해 희귀 n-그램 복구(INR)를 적용한다.
• 테스트 세트와의 n-그램 겹침을 보상으로 삼고 자주 선택된 n-그램의 점수를 감쇠시키는 방식으로 문장을 점수 매기기 위해 특성 감쇠 알고리즘(FDA)을 사용한다.
• 두 가지 처리 모드를 구현한다: 배치 모드(먼저 전체 단방향 데이터를 배경 번역한 후 선별)와 온라인 모드(먼저 단방향 문장을 선별한 후 배경 번역).
• 일반 도메인 NMT 모델을 사용하여 테스트 세트의 근사화된 타겟 측 번역을 생성하여, 소스 측 데이터가 없을 경우 TDS의 시드로 활용한다.
• TDS로 선택된 합성 데이터로 미세조정한 후, 보류된 테스트 세트에서 BLEU 점수를 평가하여 모델 성능을 평가한다.
• 소스 측 및 근사화된 타겟 측 시드에서 나온 TA 출력을 조합하여 커버리지와 관련성 향상

실험 결과

연구 질문

• RQ1 INR 및 FDA와 같은 전도적 데이터 선택 방법이 NMT 모델 적응을 위해 합성 배경 번역 데이터에 효과적으로 적용될 수 있는가?
• RQ2 단방향 문장을 먼저 선별하고 나서 배경 번역을 수행하는 온라인 처리 방식이 전체적으로 배경 번역된 데이터를 처리하는 배치 처리 방식보다 더 나은 결과를 낼 수 있는가?
• RQ3 실제 소스 측 테스트 세트를 사용하는 것과 비교해, 테스트 세트의 근사화된 타겟 측 번역을 시드로 사용할 경우 데이터 선택 품질과 최종 번역 성능에서 어떤 차이가 있는가?
• RQ4 배경 번역된 데이터의 노이즈가 TDS 방법이 관련 있는 n-그램을 복구하고 모델 적응을 향상시키는 데 얼마나 영향을 미치는가?
• RQ5 TDS를 통해 선택된 합성 데이터가 도메인 적응 작업에서 실제 도메인 내 데이터를 초월하거나 보완할 수 있는가?

주요 결과

• 단방향 문장을 먼저 선별하고 나서 배경 번역을 수행하는 온라인 처리 방식이 BLEU 점수 향상 측면에서 일관되게 배치 처리 방식을 뛰어넘었다.
• 실제 소스 측 테스트 세트를 직접 사용하는 것보다, 테스트 세트의 근사화된 타겟 측 번역을 TDS의 시드로 사용할 경우 성능 향상이 더 높았다. 이는 번역 오류가 존재할 수 있음에도 불구하고 성립했다.
• 근사화된 타겟 측 시드를 사용한 FDA 알고리즘($FDA_{trg}$)이 $FDA_{src}$보다 기준 번역과 더 가까운 번역을 생성했으며, 특히 'rehearsal room'과 같은 맥락적으로 중요한 용어를 잘 유지했다.
• 배경 번역된 문장에 자연스럽지 않은 n-그램(예: 'bounmit'은 'Hüpfburg'로 잘못 번역됨)이 포함되어 있어도, TDS 방법은 부분적인 n-그램 겹침을 통해 여전히 관련 있는 문장을 식별할 수 있었다.
• 이 연구는 합성 데이터가 인위적일지라도 잡음이 있을 수 있음에도 불구하고, TDS를 통해 선택된 데이터가 모델 성능 향상에 기여할 수 있음을 보여주며, 이 방법의 강건성을 입증했다.
• 소스 측 $TA_{src}$와 근사화된 타겟 측 $TA_{trg}$의 출력을 조합함으로써 커버리지가 향상되었고, 전체적인 적응 결과도 더 나아졌다.