[논문 리뷰] MetaMT,a MetaLearning Method Leveraging Multiple Domain Data for Low Resource Machine Translation

Rumeng Li, Xun Wang외 1명|arXiv (Cornell University)|2019. 12. 11.

Natural Language Processing Techniques참고 문헌 53인용 수 10

한 줄 요약

이 논문은 저자원 신경 기계 번역(NMT)을 위한 메타학습 프레임워크인 MetaMT를 제안한다. 이는 다양한 도메인 데이터를 활용하여 도메인 적응을 향상시킨다. 모델 파라미터를 메타 및 기본 파라미터로 분할하고, 도메인별 단어 투영을 통해 공유된 의미 공간을 활용함으로써 MetaMT는 저자원 도메인에서 상당한 BLEU 점수 향상을 달성한다—최대 2.0점까지 향상되며, 3,020개 문장의 EHR 데이터셋에서 42.20 BLEU 점수를 기록하여 표준 트랜스포머와 피지컬 튜닝 기반 모델을 능가한다.

ABSTRACT

Manipulating training data leads to robust neural models for MT.

연구 동기 및 목표

• 특정 도메인에 대해 훈련 데이터가 부족할 때 신경 기계 번역(NMT) 성능이 열 劣하는 문제를 해결한다.
• 저자원 번역 환경에서 어휘 차이와 다의미성으로 인한 도메인 간 괴리 문제를 해결한다.
• 소수의 도메인 내 문장만으로도 새로운 도메인에 신속하게 적응할 수 있는 파라미터 효율적인 방법을 개발한다.
• 기본 단어를 사용해 단어를 공유된 의미 공간으로 투영함으로써 도메인 간 데이터 희소성과 어휘 불일치 문제를 감소시킨다.
• 모델 파라미터와 메타 파라미터를 번갈아 업데이트하는 메타학습 훈련 전략을 설계하여 도메인 간 일반화 능력을 향상시킨다.

제안 방법

• 모델 파라미터를 두 그룹으로 분할한다: 번역을 위한 모델 파라미터와 도메인 간 일반화를 위해 표현 공간을 조정하는 데 사용되는 메타 파라미터.
• 기본 단어에 의해 정의된 공유된 의미 공간의 단어 벡터를 도메인 특화 표현으로 매핑하는 전송층을 도입한다.
• 다양한 도메인에서의 사전 훈련과 소규모 데이터로 타겟 도메인에서의 피지컬 튜닝을 번갈아 수행하는 메타학습 훈련 전략을 사용한다.
• 피지컬 튜닝 중 모델 파라미터를 고정하고 메타 파라미터만 업데이트하여 새로운 도메인에 대한 빠른 적응을 가능하게 한다.
• 도메인 간 OOV(Out-of-Vocabulary) 토큰을 줄이기 위해 20,000개의 서브워드 연산을 사용한 바이트 페어 인코딩(BPE)을 적용한다.
• 다양한 도메인 특화 데이터셋에서 훈련하여 도메인 적응을 시뮬레이션하고, 새로운 도메인에 대한 빠른 적응을 위한 메타 파라미터를 초기화한다.

실험 결과

연구 질문

• RQ1 메타학습은 저자원 도메인에 대해 NMT 모델의 제로샷 또는 피지컬샷 적응을 향상시킬 수 있는가?
• RQ2 기본 단어를 사용한 공유된 의미 공간은 도메인 간 괴리와 어휘 불일치를 얼마나 효과적으로 줄이는가?
• RQ3 모델 파라미터와 메타 파라미터를 분리함으로써 저자원 번역에서 일반화 능력과 빠른 적응 능력이 향상되는가?
• RQ4 제안된 방법은 매우 소규모의 도메인 내 데이터셋에서 표준 피지컬 튜닝 및 전이 학습 기반 모델을 능가할 수 있는가?
• RQ5 전자 건강 기록과 같은 매우 전문적인 도메인에서, 제한된 병렬 데이터를 가진 경우 이 방법의 성능은 어떠한가?

주요 결과

• MetaMT는 3,020개 문장의 전자 건강 기록(EHR) 데이터셋에서 42.20 BLEU 점수를 기록하여 표준 트랜스포머(36.38)와 피지컬 튜닝 트랜스포머(40.61)를 능가했다.
• 다양한 도메인 데이터셋에서 MetaMT는 기준 방법 대비 BLEU 점수를 1.0에서 2.0점까지 향상시켰다. 유엔 자료 및 유럽 북스톱 데이터셋을 제외하고는 모두 해당 효과를 보였다. 이들 데이터셋은 다양한 희귀 어휘를 포함하고 있다.
• EHR 데이터셋에서 단지 2,171개의 훈련 문장 쌍만으로도 모델이 강력한 성능을 보였으며, 매우 소규모의 도메인 내 데이터에 대한 내구성을 입증했다.
• 제거 실험 결과, 인코더와 디코더 임bedding 투영을 모두 제거하면 성능이 저하됨을 확인하여 공유된 의미 공간의 중요성을 입증했다.
• 메타학습 전략을 통해 모델 파라미터를 고정하고 피지컬 튜닝 중에 메타 파라미터만 업데이트함으로써 과적합을 줄이고 도메인 일반화 능력을 향상시켜 빠른 적응을 가능하게 하였다.
• 이 방법은 언어에 종속되지 않으며 언어 특화 기능이 필요 없어 어떤 언어 쌍에도 적용 가능하다.