[논문 리뷰] Vocabulary Selection Strategies for Neural Machine Translation

Gurvan L'Hostis, David Grangier외 1명|arXiv (Cornell University)|2016. 10. 01.

Natural Language Processing Techniques참고 문헌 24인용 수 38

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 어휘 선택 전략을 제안하며, 정확도 손실이 크지 않은 조건에서 디코딩 시간을 최대 90% 감소시키고 학습 시간을 25% 감소시킵니다. 단어 일치, 双어 임베딩, 또는 SVM 분류기와 같은 방법을 사용해 문맥에 관련된 어휘의 소량의 부분집합을 선택함으로써, 모델은 큰 어휘집합을 평가하지 않으며, 영어-독어 및 영어-루마니아어 번역 작업에서 준 최신 기술 성능을 달성합니다.

ABSTRACT

Classical translation models constrain the space of possible outputs by selecting a subset of translation rules based on the input sentence. Recent work on improving the efficiency of neural translation models adopted a similar strategy by restricting the output vocabulary to a subset of likely candidates given the source. In this paper we experiment with context and embedding-based selection methods and extend previous work by examining speed and accuracy trade-offs in more detail. We show that decoding time on CPUs can be reduced by up to 90% and training time by 25% on the WMT15 English-German and WMT16 English-Romanian tasks at the same or only negligible change in accuracy. This brings the time to decode with a state of the art neural translation system to just over 140 msec per sentence on a single CPU core for English-German.

연구 동기 및 목표

• 디코딩 중에 대상 어휘의 크기를 줄임으로써 신경 기계 번역 시스템의 추론 효율을 향상시키는 것.
• 어휘 선택 기법이 계산 비용을 크게 줄이면서도 번역 정확도를 유지하거나 향상시킬 수 있는지 조사하는 것.
• 다양한 언어 쌍과 모델 아키텍처에서 어휘 선택의 디코딩 및 학습 효율성에 미치는 영향을 평가하는 것.
• 속도-정확도 트레이드오프 측면에서 문맥 인식 선택 방법이 단순 빈도 기반 또는 일치 기반 접근 방식보다 우수한지 여부를 판단하는 것.
• 동적으로 선택된 어휘로 학습하면 일반화 능력이나 모델 수렴이 향상되는지 탐색하는 것.

제안 방법

• 이중어 비트렉스트에서의 단어 동시출현 빈도 수를 활용해 입력 문장과 관련된 소량의 대상 단어를 식별함으로써 어휘 선택을 수행한다.
• 공동 발생 행렬에 대해 헬링거 주성분 분석(Hellinger PCA)을 적용해 이중어 단어 임베딩을 학습함으로써 희귀어 쌍에 대한 강건성을 향상시킨다.
• 구문 기반 모델의 단어 일치 결과를 활용해 P(t|s)를 추정하고, 높은 일치 확률을 가진 대상 단어를 선택한다.
• 기존의 구문 테이블에서의 구문 쌍을 활용해 국소적 구문 수준의 문맥에 기반한 후보 번역어를 식별한다.
• 전체 소스 문장에서 추출한 특징을 기반으로 판별적 SVM 분류기를 학습시켜 유망한 대상 단어를 예측한다.
• 선택된 어휘는 디코딩 및 학습 모두에서 사용되며, 모델은 후보 단어들만 평가함으로써 계산 부담을 줄인다.

실험 결과

연구 질문

• RQ1 어휘 선택 기법을 통해 NMT의 디코딩 시간을 최대 90% 감소시킬 수 있으며 정확도 손실는 무시할 수 있을 정도로 낮을 수 있는가?
• RQ2 단어 일치, 임베딩, 또는 SVM와 같은 다양한 선택 전략 간의 속도 및 정확도를 비교하면 어떻게 되는가?
• RQ3 문장별로 특정 어휘로 구성된 축소된 어휘로 학습하면 모델의 일반화 능력이나 수렴성이 향상되는가?
• RQ4 특히 더 빠른 인코더 아키텍처를 사용할 경우, 어휘 크기가 추론 및 학습 효율성에 어떤 영향을 미치는가?
• RQ5 소량의 선택된 어휘(예: 문장당 약 600단어)로 기준 번역에서 99% 이상의 단어를 복원할 수 있는가?

주요 결과

• 영어-독어 번역에서 단일 CPU 코어에서의 디코딩 속도는 문장당 140ms 미만으로 감소하여 전체 어휘 디코딩 대비 90%의 속도 향상을 기록했다.
• 단어 일치 기반으로만 해도 높은 정확도를 달성했으며, 문장당 약 600개의 어휘로 기준 번역의 99% 이상의 단어를 복원했다.
• 단어 일치 기반 어휘 선택을 사용할 경우 GPU에서 학습 속도가 최대 33% 향상(1.33배 속도 향상)되었으며, 검증 BLEU 점수에 유의미한 하락이 없었다.
• bi-LSTM 대신 평균 풀링 인코더를 사용할 경우, 어휘 선택으로 인한 학습 속도 향상은 66%로 증가(1.66배)하여, 인코더 효율성이 핵심 병목 현상임을 시사했다.
• 어휘 선택과 더 작은 어휘 크기(예: 배치당 6,000단어)의 조합은 평균 풀링 인코더를 사용할 경우 에포크당 학습 시간을 40% 감소시켰지만, 정확도는 bi-LSTM에서의 22.5 BLEU에서 18.5 BLEU로 하락했다.
• 학습 중에 가장 빈도가 높은 2,000개의 단어를 추가해도 정확도 향상이 없었으며, 이는 문맥 기반 선택이 빈도 기반 포함보다 더 효과적임을 시사한다.