[논문 리뷰] Vocabulary Manipulation for Neural Machine Translation

Haitao Mi, Zhiguo Wang외 1명|arXiv (Cornell University)|2016. 05. 10.

Natural Language Processing Techniques참고 문헌 14인용 수 8

한 줄 요약

이 논문은 문장 수준의 어휘 조작 기법을 제안하여 신경 기계 번역(NMT)의 계산 비용을 줄인다. 각 문장마다 동적으로 선택된 작고 정교한 대상 어휘를 사용함으로써, 어휘/구어 번역 모델과 빈도가 높은 대상 어휘어휘를 기반으로 한다. 이 방법은 대규모 어휘 NMT 시스템보다 1.0 BLEU 포인트 향상된 성능을 달성하면서도 추론 시간과 메모리 사용량을 크게 줄였으며, 평균 문장당 출력 어휘 크기는 단지 202개어휘어휘이다.

ABSTRACT

In order to capture rich language phenomena, neural machine translation models have to use a large vocabulary size, which requires high computing time and large memory usage. In this paper, we alleviate this issue by introducing a sentence-level or batch-level vocabulary, which is only a very small sub-set of the full output vocabulary. For each sentence or batch, we only predict the target words in its sentence-level or batch-level vocabulary. Thus, we reduce both the computing time and the memory usage. Our method simply takes into account the translation options of each word or phrase in the source sentence, and picks a very small target vocabulary for each sentence based on a word-to-word translation model or a bilingual phrase library learned from a traditional machine translation model. Experimental results on the large-scale English-to-French task show that our method achieves better translation performance by 1 BLEU point over the large vocabulary neural machine translation system of Jean et al. (2015).

연구 동기 및 목표

• 대규모 어휘 신경 기계 번역(NMT) 시스템의 높은 계산 비용과 메모리 사용량 문제를 해결하기 위해.
• 구기반 SMT에서 유도된 단어-단어 및 구-구 번역 모델을 통해 번역의 모호성을 통합함으로써 번역 품질을 향상시키기 위해.
• 커버리지나 성능을 희생시키지 않고도 문장당 출력 어휘 크기를 줄이기 위해.
• 전체 대상 어휘 대신 문장 특화의 작은 출력 어휘를 사용함으로써 훈련과 추론 속도를 높이기 위해.
• 전통적인 SMT의 특징(빠른 규칙 추출)과 종단 간 NMT의 장점(고품질 번역)을 어휘 정제를 통해 융합하기 위해.

제안 방법

• 각 소스 문장에 대해, 문장 수준의 출력 어휘 $V_o$ 는 세 가지 구성 요소의 합집합으로 구성된다: (1) 어휘/구 번역 모델에서 유도된 대상 어휘, (2) 상위 2,000개의 빈도가 높은 대상 어휘, (3) 기준 번역에서 유도된 어휘.
• 훈련 중에는 배치 수준의 어휘가 각 배치의 개별 문장 수준 어휘를 통합하여 형성되며, 이 단어들과 관련된 파라미터만 업데이트된다.
• 훈련 과정은 각 에포크 시작 시 문장을 무작위로 섞는 방식을 취함으로써, 각 문장이 서로 다른 어휘를 경험하게 하여 일반화 능력을 향상시킨다.
• 추론(빔 서치) 중에는 동일한 어휘 구성 방식을 각 문장에 적용하지만, 기준 번역어휘가 없기 때문에 기준 어휘 성분은 제외된다.
• 이 방법은 표준 어텐션 기반 NMT 아키텍처를 사용하지만, 각 예측 단계에서 전체 대상 어휘 $V_y$ 를 더 작은 동적 $V_o$ 로 대체한다.
• 소프트맥스 계산은 $V_o$ 에만 수행되며, 이는 각 예측 단계의 계산 비용을 극적으로 줄인다.

실험 결과

연구 질문

• RQ1 동적으로 선택된 작고 문장 수준의 출력 어휘는 번역 품질에 손상이 없이 NMT의 효율성을 향상시킬 수 있는가?
• RQ2 SMT에서 유도된 어휘/구 모델을 통한 번역 모호성 통합은 NMT 성능에 어떤 영향을 미치는가?
• RQ3 문장 수준 어휘에 포함할 상위-k 빈도 어휘의 최적 크기는 무엇인가?
• RQ4 어휘 조작은 훈련 및 추론 시간을 줄일 수 있으며, BLEU 점수를 유지하거나 향상시킬 수 있는가?
• RQ5 어휘를 에포크 단위로 동적으로 섞는 방식이 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 대규모 어휘 NMT 베이스라인 대비 1.0 BLEU 포인트 향상된 성능을 달성하였으며, UNK 치환 후 영어-프랑스어 테스트 세트에서 35.11 BLEU에 도달하였다.
• 문장 수준의 출력 어휘 $V_o$ 의 평균 크기는 202개로 줄었으며, 이는 이전 연구에서 사용된 30,000어휘어휘보다 14.5배 작다.
• 상위 50개의 빈도 어휘만 사용할 경우에도 $V_o$ 의 평균 크기는 202로 유지되며, 개발 세트에서 BLEU 점수는 0.1 포인트만 감소한다.
• 훈련 속도는 크게 향상되었다: 배치 어휘 크기를 30,000으로 늘였을 경우 제안된 방법 대비 훈련 속도가 1.5배 느려진다.
• 모델 성능은 $V_o$ 의 세 성분 모두를 사용했을 때 최고로 나타났다: 어휘/구 번역, 상위 2,000개의 빈도 어휘, 기준 어휘. 별도의 아블레이션 실험 결과 BLEU 점수는 각각 34.20과 34.23을 기록하였다.
• 학습 곡선은 제7에포크에 수렴하며, 어휘 임베딩를 고정한 제5에포크 이후에 더 이상 유의미한 향상이 없음을 보여, 제안된 방법이 안정적인 학습을 가능하게 한다.