[논문 리뷰] A Dependency-Based Neural Reordering Model for Statistical Machine Translation

Christian Hadiwinoto, Hwee Tou Ng|arXiv (Cornell University)|2017. 02. 15.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 문맥 의존 구조 분석과 연속적 단어 임베딩을 사용하여, 두 단어가 의존 관계로 연결되어 있을 경우 번역 시 순서를 바꿔야 할지 예측하는 신경망 재정렬 모델을 제안한다. 이 모델은 머리-자식 관계와 형제 관계를 위한 두 개의 순방향 신경망을 사용하며, 단어의 연속적 표현, 품사 태그, 의존 관계 레이블, 구조적 특징을 사용하여, 중국어-영어 번역에서 이전 SMT 시스템 대비 0.57 BLEU 포인트 향상된 성능을 달성한다.

ABSTRACT

In machine translation (MT) that involves translating between two languages with significant differences in word order, determining the correct word order of translated words is a major challenge. The dependency parse tree of a source sentence can help to determine the correct word order of the translated words. In this paper, we present a novel reordering approach utilizing a neural network and dependency-based embeddings to predict whether the translations of two source words linked by a dependency relation should remain in the same order or should be swapped in the translated sentence. Experiments on Chinese-to-English translation show that our approach yields a statistically significant improvement of 0.57 BLEU point on benchmark NIST test sets, compared to our prior state-of-the-art statistical MT system that uses sparse dependency-based reordering features.

연구 동기 및 목표

• 중국어와 영어처럼 문법적 구조가 상이한 언어 간 번역에서 발생하는 어순 재정렬 문제를 해결하기 위해.
• 의존 관계 기반 예측을 통해 어순 재정렬 결정을 내리는 신경망을 통합하여 어절 기반 SMT의 성능을 향상시키기 위해.
• 희소하고 수작업으로 구성된 의존 기반 특징을 연속적이고 신경망 기반의 임베딩으로 대체하여 특징 엔지니어링 의존도를 줄이기 위해.
• 의존 관계 기반 입력 특징을 기반으로 훈련된 신경 분류기를 사용해 비트 서치 디코딩을 이끌어 번역 품질을 향상시키기 위해.

제안 방법

• 모델은 의존 관계 트리 내 머리-자식 관계와 형제 관계를 위한 두 개의 별도 순방향 신경망을 사용한다.
• 입력 특징으로는 단어 형태, 품사 태그, 의존 관계 레이블, 단어 간 부호화된 거리, 구두점 존재 여부 지표가 포함된다.
• 각 특징은 룩업 테이블을 통해 연속적 벡터 공간으로 매핑되며, 이 벡터들이 연결되어 두 개의 은닉층을 거치며 ReLU 활성화 함수를 적용한다.
• 최종 출력층은 이진 예측을 수행한다: 번역 시 두 단어의 순서를 바꿔야 할 경우 1, 유지해야 할 경우 0으로 출력한다.
• 신경 분류기는 어휘 기반 SMT 시스템의 비트 서치 디코딩 기능으로 통합되어 번역 후보 선택에 영향을 준다.
• 비어 있는 단어 특징(예: 품사 태그, 의존 관계 레이블, 불리언 지표 등)에도 연속적 표현을 적용하여 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 의존 관계로 연결된 두 소스 단어가 번역 시 순서를 바꿔야 할지 예측하는 데에 신경망이 효과적으로 기능할 수 있는가?
• RQ2 단어, 품사 태그, 의존 관계 레이블에 대해 연속적 임베딩을 사용할 경우, 희소하고 이산적인 특징 대비 재정렬 성능 향상이 이루어지는가?
• RQ3 기존의 희소한 의존 기반 특징보다 신경망 기반 재정렬 모델이 어휘 기반 SMT에서 더 나은 성능을 낼 수 있는가?
• RQ4 제안된 신경 재정렬 모델은 BLEU 점수와 훈련 효율성 측면에서 종래의 엔드 투 엔드 신경망 기반 번역(NMT) 시스템과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 신경 재정렬 모델은 NIST 중국어-영어 번역 테스트 세트에서 이전 최고 성능 SMT 시스템 대비 통계적으로 유의미한 0.57 BLEU 포인트 향상을 달성한다.
• 이 모델은 동일한 어휘 기반 재정렬 모델을 사용하는 전통적 SMT 시스템조차도 연속적 표현과 종합적 학습의 이점을 통해 슈퍼세이브한다.
• 동일한 데이터로 훈련된 단일 NMT 시스템보다도 성능이 뛰어나 BLEU 점수 39.55를 기록했으며, NMT의 38.97보다 유의미하게 높다(p < 0.01).
• 수작업 특징 엔지니어링 의존도를 줄이고 종합적 학습을 통해 표현을 학습함으로써 모델은 수월하게 비트 서치 디코딩에 통합되며, 차트 파싱이 필요하지 않다.
• 품사 태그와 의존 관계 레이블에 연속적 임베딩을 적용할 경우 이산 표현 대비 성능 향상이 이루어지며, 이는 신경 의존 구조 분석 분야의 관련 연구에서 입증된 linе.
• NMT보다 훈련이 더 효율적이며, 3일이면 충분하고 NMT의 18일 대비 훨씬 빠르며, 더 나은 번역 품질을 달성한다.