[논문 리뷰] Phrase Based Language Model For Statistical Machine Translation

Jia Xu, Geliang Chen|arXiv (Cornell University)|2015. 01. 18.

Natural Language Processing Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 통계적 기계 번역(SMT)을 위한 어절 기반 언어 모델(LM)을 제안하며, 개별 단어가 아니라 어절을 언어 모델링의 기본 단위로 간주한다. 철저한 어절 분할과 보간 및 스무딩을 통한 어절 n-gram 모델링을 통해 장거리 의존성과 어절 기반 번역 단위와의 일치도를 높여, 기존의 단어 수준 LM보다 낮은 퍼플렉서티와 더 높은 BLEU 점수(최대 +0.45%)를 달성한다.

ABSTRACT

We consider phrase based Language Models (LM), which generalize the commonly used word level models. Similar concept on phrase based LMs appears in speech recognition, which is rather specialized and thus less suitable for machine translation (MT). In contrast to the dependency LM, we first introduce the exhaustive phrase-based LMs tailored for MT use. Preliminary experimental results show that our approach outperform word based LMs with the respect to perplexity and translation quality.

연구 동기 및 목표

• 번역에서 장거리 의존성과 맥락적 의미를 포착하지 못하는 단어 수준 언어 모델의 한계를 해결하기 위해.
• SMT 시스템에서 사용하는 어절 기반 번역 단위와 일치하는 어절 기반 LM을 개발하기 위해.
• 언어 모델링의 독립성 가정을 줄이기 위해 어절을 원자 단위로 모델링함으로써.
• 어절 경계를 구조적 제약 조건으로 사용하여 번역 정합성과 유창성 향상을 탐색하기 위해.
• 표준 번역 벤치마크에서 퍼플렉서티와 BLEU 점수 측면에서 어절 기반 LM의 효과성을 평가하기 위해.

제안 방법

• 모델은 각 어절을 연속된 단어 조합으로 간주하고, 모든 가능한 어절 세그먼트를 고려하는 언어 모델링의 기본 단위로 어절을 사용한다.
• 동적 프로그래밍을 사용하여 최대 길이 N까지의 유효한 어절 n-gram 순서를 수집함으로써 어절 n-gram을 계산한다.
• 선형 조합을 사용한 보간 방법으로 단어, 이어진 어절, 고차원 어절 n-gram을 λ=0.4의 스무딩 파라미터와 함께 조합한다.
• 두 가지 모델이 제안된다: '합산' 모델은 어절 n-gram의 확률 평균을 취하고, '최대' 모델은 모든 n-gram 순서 중 가장 높은 확률을 선택한다.
• 보기 없는 어절 n-gram을 처리하기 위해 선형 보간 방법을 사용한 스무딩을 적용하여 테스트 데이터에서의 일반화 능력을 향상시킨다.
• 모델은 훈련 시 문장 길이를 15단어 이내로 제한하고, 테스트 시 10단어 이내로 제한한 IWSLT 2011 코퍼스의 일부에서 학습된다.

실험 결과

연구 질문

• RQ1 어절을 단어가 아닌 단위로 모델링할 경우 통계적 기계 번역에서 언어 모델의 퍼플렉서티가 향상되는가?
• RQ2 어절 기반 언어 모델이 단어 수준 n-gram 모델보다 장거리 의존성을 더 잘 포착하는가?
• RQ3 어절 경계를 은닉 변수로 사용할 경우 어절 기반 MT의 번역 품질과 정합성에 어떤 영향을 미치는가?
• RQ4 보간 및 스무딩 기법이 보기에 없는 데이터에서 어절 기반 LM의 성능 향상에 어느 정도 기여하는가?
• RQ5 어휘 기반 LM이 N-best 목록 디코딩에서 재정렬 기준으로 사용될 때 BLEU 점수 측면에서 단어 기반 LM을 능가할 수 있는가?

주요 결과

• 어절 기반 언어 모델은 Tst2011 테스트 세트에서 기준 단어 수준 LM보다 낮은 퍼플렉서티를 기록했으며, 최대 모델 + 스무딩 조합은 n=1일 때 기준의 676.1 대비 15.27의 퍼플렉서티를 달성했다.
• 최대 모델에 스무딩을 적용한 결과, Tst2010 테스트 세트에서 기준보다 BLEU 점수를 0.45% 향상시켰으며, Dev2010(+0.3%)와 Tst2011(+0.22%)에서도 작은 그러나 일관된 향상이 관찰되었다.
• 어절을 덜 많은, 더 큰 단위로 모델링함으로써 독립성 가정의 수를 줄여 더 견고한 확률 추정치를 도출했다.
• 모델은 'the day before yesterday'와 같은 맥락 어절을 단일 단위로 포착하여 의미의 일관성을 유지하고 엔트로피를 감소시켰다.
• 최대 모델의 예시 출력은 기준 모델보다 더 자연스럽고 문법적으로 올바른 표현을 보였으며, 'specific steps' 대신 'step-by-step instructions'와 같이 정확히 형성된 표현을 보였다.
• 결과적으로 어절 기반 LM은 어절 기반 SMT의 번역 과정과 더 일치하며, 동일한 번역 단위를 전반적으로 사용함으로써 더 일관된 성능을 보였다.