[논문 리뷰] Local Translation Prediction with Global Sentence Representation

Jiajun Zhang|arXiv (Cornell University)|2015. 02. 27.

Natural Language Processing Techniques참고 문헌 25인용 수 20

한 줄 요약

이 논문은 통계적 기계 번역에서 국소 번역 예측을 향상시키기 위해 글로벌 문장 수준의 의미 표현을 학습하기 위해 双어 제약이 가해진 조각 기반 컨볼루션 신경망(BCCNN)을 제안한다. 이 표현들을 피드포워드 신경망 공동 모델에 통합함으로써, 강력한 계층적 어구 기반 기준 모델 대비 최대 1.38의 BLEU 점수 향상을 달성하여 글로벌 맥락이 번역 품질에 기여한다는 것을 입증한다.

ABSTRACT

Statistical machine translation models have made great progress in improving the translation quality. However, the existing models predict the target translation with only the source- and target-side local context information. In practice, distinguishing good translations from bad ones does not only depend on the local features, but also rely on the global sentence-level information. In this paper, we explore the source-side global sentence-level features for target-side local translation prediction. We propose a novel bilingually-constrained chunk-based convolutional neural network to learn sentence semantic representations. With the sentence-level feature representation, we further design a feed-forward neural network to better predict translations using both local and global information. The large-scale experiments show that our method can obtain substantial improvements in translation quality over the strong baseline: the hierarchical phrase-based translation model augmented with the neural network joint model.

연구 동기 및 목표

• 기존의 통계적 기계 번역 모델이 국소 맥락에만 의존하는 한계를 해결하기 위해 글로벌 문장 수준의 의미를 도입하여 더 나은 번역 예측을 가능하게 하기.
• 골드 스탠다드 애너테이션 없이도 강건한 문장 수준의 의미 표현을 학습하기 위해 평행 문장 쌍을 약한 지도로 활용하기.
• 변동 길이의 문장을 효과적으로 처리하면서도 의미 정보를 유지할 수 있도록 설계된 신경망 아키텍처를 개발하기.
• 계층적 어구 기반 번역 시스템의 디코딩 과정에 학습된 글로벌 표현을 통합하여 번역 품질을 향상시키기.

제안 방법

• 골드 의미 레이블이 필요 없이 평행 문장 쌍을 약한 지도로 활용하여 문장 표현을 학습하는 이중어 제약이 가해진 조각 기반 컨볼루션 신경망(BCCNN)을 제안한다.
• 변동 길이의 문장을 구성 가능한 수의 조각으로 분할하여, 최대 시간 풀링보다 더 많은 의미 정보를 유지한다.
• 사전에 학습된 모델(예: word2vec)의 워드 임베딩을 입력으로 사용하고, 각 조각에 대해 국소 특징을 추출하기 위해 컨볼루션 및 풀링 레이어를 적용한 후 고정 길이의 문장 표현으로 요약한다.
• 학습된 문장 표현을 피드포워드 신경망에 통합하여 국소적 맥락과 글로벌 맥락을 모두 활용해 타겟 단어의 조건부 확률을 예측한다.
• 예측된 확률을 계층적 어구 기반 번역 시스템의 로그선형 모델에 융합하여 번역 출력을 향상시킨다.
• 병렬 단어 및 이중어 데이터를 사용하여 문장 표현과 번역 예측을 엔드 투 엔드로 동시에 최적화하는 공동 학습 전략을 적용한다.

실험 결과

연구 질문

• RQ1 글로벌 문장 수준의 의미가 통계적 기계 번역에서 국소 번역 예측에 상당한 영향을 미칠 수 있는가?
• RQ2 골드 스탠다드 애너테이션 없이도 문장 수준의 의미 표현을 효과적으로 학습할 수 있는가?
• RQ3 변동 길이의 문장을 어떻게 구성하면 신경망에서 글로벌 의미를 효과적으로 포착할 수 있는가?
• RQ4 계층적 어구 기반 시스템에서 글로벌 표현을 통합하면 번역 품질에 어떤 영향을 미치는가?

주요 결과

• 4개의 조각을 사용한 BCCNN 모델(BCCNN-4)이 최고의 성능을 기록하며, 최대 시간 풀링 및 다른 조각 설정보다 뛰어난 성능을 보였다.
• 4개 조각을 사용한 모델(BCCNN-4)은 기준 모델 대비 MT08 테스트 세트에서 최대 1.38의 BLEU 점수 향상을 달성했다.
• 더 많은 조각(예: 8개)을 사용해도 성능 향상이 없고, 오히려 노이즈를 유발할 수 있어 조각 수에 최적의 범위가 존재함을 시사한다.
• 학습된 글로벌 문장 표현의 통합은 모든 테스트 세트에서 일관되게 번역 품질을 향상시켜 글로벌 맥락의 가치를 입증한다.
• 이중어 제약이 가해진 학습 전략이 수동으로 애너테이션된 의미 레이블이 없이도 의미 있는 문장 표현을 효과적으로 학습할 수 있음을 보여준다.