[논문 리뷰] Zero-shot Domain Adaptation for Neural Machine Translation with Retrieved Phrase-level Prompts

Zewei Sun, Qingnan Jiang외 4명|arXiv (Cornell University)|2022. 09. 23.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 제로샷 도메인 적응 방법인 RePP를 제안한다. 이 방법은 사전에 구축한 데이터베이스에서 관련성 있는 이중어 문장 수준 프롬프트를 검색하여 미세조정 없이도 번역 품질을 향상시킨다. 이 접근법은 평균적으로 번역 성능을 6.2 BLEU 포인트 향상시키며, 예측되지 않은 도메인에서 어휘 제약 정확도를 11.5% 향상시킨다. 기존의 미세조정 대비 빠르고 저비용이며 개인정보 보호를 위한 대안을 제공한다.

ABSTRACT

Domain adaptation is an important challenge for neural machine translation. However, the traditional fine-tuning solution requires multiple extra training and yields a high cost. In this paper, we propose a non-tuning paradigm, resolving domain adaptation with a prompt-based method. Specifically, we construct a bilingual phrase-level database and retrieve relevant pairs from it as a prompt for the input sentences. By utilizing Retrieved Phrase-level Prompts (RePP), we effectively boost the translation quality. Experiments show that our method improves domain-specific machine translation for 6.2 BLEU scores and improves translation constraints for 11.5% accuracy without additional training.

연구 동기 및 목표

• 신경 기계 번역에서 도메인 적응을 위한 미세조정의 높은 비용과 비효율성을 해결하기 위해.
• 추가 훈련 없이도 예측되지 않은 도메인에서 번역 품질을 향상시키는 제로샷 방법을 개발하기 위해.
• 모델이 민감한 병렬 코퍼스를 노출시키지 않음으로써 데이터 프라이버시를 보존하기 위해.
• 프롬프트 기반 간섭을 통해 효과적인 어휘 제약 강제를 실현하기 위해.

제안 방법

• 맥락적 표현을 포함한 원천-대상 어휘 쌍으로 구성된 이중어 문장 수준 데이터베이스를 구축하기 위해.
• 맥락 임베딩 기반의 의미 유사도를 이용해 도메인 관련 어휘 프롬프트를 데이터베이스에서 검색하기 위해.
• 모델 번역 전에 입력 문장을 검색된 어휘 프롬프트로 보강하여 모델을 안내하기 위해.
• 모델이 프롬프트 입력과 비프롬프트 입력 양쪽에서 일반화할 수 있도록 프롬프트 인식 공훈련 전략을 사용하기 위해.
• 추론 중 유사도 검색을 효율적으로 수행하기 위해 FAISS를 활용한 IVFPQ 벡터 양자화를 활용하기 위해.
• 특수 토큰으로 분리된 원천-대상 어휘 쌍의 시퀀스로 프롬프트를 구성하여 소프트 어휘 제약을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 사전에 구축한 이중어 어휘 쌍 데이터베이스에서 검색된 문장 수준 프롬프트가 미세조정 없이 제로샷 도메인 적응을 향상시킬 수 있는가?
• RQ2 예측되지 않은 도메인에서 관련성 있는 이중어 어휘의 검색이 번역 품질 향상에 얼마나 효과적인가?
• RQ3 재훈련 없이도 프롬프트 기반 방법이 번역에서 어휘 제약을 어느 정도 강제로 구현할 수 있는가?
• RQ4 제로훈련 비용을 유지하면서 제안된 방법의 성능이 미세조정과 비교해 BLEU 및 정확도 측면에서 어떻게 되는가?
• RQ5 도메인 특화 병렬 코퍼스를 노출시키지 않음으로써 사용자 데이터 프라이버시를 어떻게 보존할 수 있는가?

주요 결과

• RePP는 추가 훈련 없이도 영어→독일어 및 독일어→영어 방향의 도메인 특화 번역에서 평균 BLEU 점수를 6.2 포인트 향상시켰다.
• 어휘 제약 정확도는 11.5%p의 절대적 향상을 달성했으며, Wiktionary 및 IATE 벤치마크에서 각각 93.67%와 95.41%의 정확도를 기록했다.
• 제로샷 설정에서 RePP는 기존 NMT 모델보다 영어→독일어 번역에서 6.7 BLEU 포인트, 독일어→영어 번역에서 5.6 BLEU 포인트 향상시켰다.
• RePP의 성능는 완전히 지도된 미세조정과 경쟁 가능했지만, 절대 BLEU 점수 측면에선 다소 뒤처졌다.
• 사용자가 전체 병렬 코퍼스 대신 필터링된 어휘 데이터베이스만 공유함으로써 효과적이고 신속하며 프라이버시 보호가 가능한 적응이 가능해졌다.
• 사례 연구를 통해 프롬프트 조합이 번역 출력을 명시적으로 제어할 수 있음을 확인했으며, 이는 방법의 해석 가능성과 제어 가능성의 증거가 되었다.