[논문 리뷰] Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates

Taku Kudo|arXiv (Cornell University)|2018. 04. 29.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 신경 기계 번역(NMT)의 강건성을 향상시키기 위해 훈련 중에 유니그램 언어 모델에서 샘플링된 다수의 서브워드 분할을 사용하는 단순하면서도 효과적인 방법인 서브워드 정규화를 소개한다. 이 방법은 분할의 모호성을 데이터 증강의 한 형태로 활용함으로써, 특히 저자원 및 도메인 외부 설정에서 성능을 크게 향상시킨다.

ABSTRACT

Subword units are an effective way to alleviate the open vocabulary problems in neural machine translation (NMT). While sentences are usually converted into unique subword sequences, subword segmentation is potentially ambiguous and multiple segmentations are possible even with the same vocabulary. The question addressed in this paper is whether it is possible to harness the segmentation ambiguity as a noise to improve the robustness of NMT. We present a simple regularization method, subword regularization, which trains the model with multiple subword segmentations probabilistically sampled during training. In addition, for better subword sampling, we propose a new subword segmentation algorithm based on a unigram language model. We experiment with multiple corpora and report consistent improvements especially on low resource and out-of-domain settings.

연구 동기 및 목표

• 서브워드 단위를 통해 알 수 없는 단어의 영향을 줄임으로써 신경 기계 번역(NMT)의 개방형 어휘 문제를 해결한다.
• 서브워드 분할의 본질적 모호성—즉, 한 단어가 여러 가지 유효한 방식으로 분할될 수 있음—을 데이터 증강의 한 형태로 활용하여 모델의 일반화 능력을 향상시킨다.
• 확률적이고 다양한 서브워드 후보를 생성하기 위해 유니그램 언어 모델 기반의 새로운 서브워드 분할 알고리즘을 개발한다.
• NMT 아키텍처를 수정하지 않고도 모델의 강건성과 성능을 향상시키며, 특히 저자원 및 도메인 외부 번역 설정에서 유의미한 개선을 이룬다.

제안 방법

• 각 입력 문장에 대해 서브워드 분할 분포에서 확률적으로 다수의 서브워드 시퀀스를 실시간으로 샘플링하는 훈련 중 서브워드 샘플링을 제안한다.
• 다수의 서브워드 분할을 평균화하는 마진화된 가능도 목적함수(식 3)를 사용하여 NMT 모델을 훈련하며, 이는 k개의 후보를 사용한 몬테카를로 샘플링으로 근사된다.
• 서브워드 분할 시퀀스에 확률을 부여하고 더 타당한 분할에 더 가까운 샘플링을 가능하게 하는 유니그램 언어 모델 기반의 새로운 서브워드 분할 알고리즘을 도입한다.
• 소스 문장과 타겟 문장 양쪽에 독립적으로 적용하여 인코더나 디코더 측에서의 융통성 있는 정규화를 가능하게 한다.
• 샘플링된 분할의 다양성과 품질을 제어하기 위해 하이퍼파라미터 l(샘플링된 후보 수)과 α(부드러움 상수)를 사용한다.
• 기본 NMT 모델에 대한 변경 없이도 구현 가능한 경량이며 아키텍처에 종속되지 않는 정규화 기법으로 구현한다.

실험 결과

연구 질문

• RQ1 NMT 훈련 중에 다수의 서브워드 분할을 활용하면 모델의 강건성과 번역 품질이 향상되는가?
• RQ2 언어 모델 기반 서브워드 분할 알고리즘이 표준 BPE에 비해 더 높은 샘플링 다양성과 성능을 제공하는가?
• RQ3 서브워드 정규화는 저자원 및 도메인 외부 번역 설정에서 성능에 어떤 영향을 미치는가?
• RQ4 서브워드 정규화를 소스와 타겟 양쪽 시퀀스에 모두 적용할 경우 효과가 더 크며, 아니면 한 쪽에서 더 큰 기여를 하는가?
• RQ5 일관된 성능 향상을 얻기 위한 샘플링 하이퍼파라미터(l 및 α)의 최적 설정은 무엇인가?

주요 결과

• IWSLT15 (en→vi)에서 서브워드 정규화는 기준 모델 대비 2.18 BLEU 포인트 향상시켰으며, 소스와 타겟 양쪽을 정규화한 경우 최종 점수는 27.68을 기록했다.
• IWSLT17 (en→vi) 데이터셋에서는 기준 모델의 BLEU 점수 25.49에서 전체 정규화 시 27.68로 향상되어 다양한 도메인에서 일관된 성능 향상을 보였다.
• 유니그램 언어 모델을 사용한 서브워드 정규화는 WMT14 (en→de)에서 최고의 BLEU 점수 25.04를 기록했으며, BPE(24.53) 및 기타 서브워드 방법을 모두 초월했다.
• 단일 측면 정규화(소스 또는 타겟에만 적용) 역시 측정 가능한 성능 향상을 보였다—예를 들어 en→vi에서 26.10 BLEU—이로써 모델의 인코더와 디코더 구성 요소 양쪽에 모두 유익함을 시사한다.
• 부드러움 하이퍼파라미터 α는 매우 중요하다: α=0.0으로 설정할 경우, 특히 l가 클 경우 성능 저하가 발생함을 보여주며, 언어 모델 확률 기반의 편향된 샘플링이 필수적임을 입증한다.
• 이 방법은 저자원 설정—예를 들어 IWSLT15—에서 가장 효과적이며, 이 경우 성능 향상이 가장 두드러진다. 이는 자료가 부족한 상황에서 강력한 정규화 효과가 있음을 시사한다.