[논문 리뷰] Recursive Neural Network Based Preordering for English-to-Japanese Machine Translation

Yuki Kawara, Chenhui Chu외 1명|arXiv (Cornell University)|2018. 05. 25.

Natural Language Processing Techniques참고 문헌 20인용 수 3

한 줄 요약

이 논문은 수작업 특성 설계 없이 원시 문법 트리에서 재귀 신경망(RvNN) 기반의 사전 순서 정렬 방법을 제안한다. 이 방법은 통계적 기계 번역 및 신경 기계 번역에서 언어에 따라 달라지는 수작업 특성 설계 문제를 해결하며, 특히 문장 기반 SMT에서 기존의 최상위 수준의 특성 설계 기반 방법과 유사한 번역 품질을 달성한다. BLEU 및 RIBES 점수에서 기준 시스템 대비 뚜렷한 향상이 이루어졌으며, 이는 주로 영어-일본어 기계 번역에서 유의미한 성과를 보인다.

ABSTRACT

The word order between source and target languages significantly influences the translation quality in machine translation. Preordering can effectively address this problem. Previous preordering methods require a manual feature design, making language dependent design costly. In this paper, we propose a preordering method with a recursive neural network that learns features from raw inputs. Experiments show that the proposed method achieves comparable gain in translation quality to the state-of-the-art method but without a manual feature design.

연구 동기 및 목표

• 통계적 기계 번역 및 신경 기계 번역에서 사전 순서 정렬을 위한 언어에 따라 달라지는 수작업 특성 설계 문제를 해결하기 위해.
• 문법적 구조를 활용하여 영어-일본어 번역에서 최적의 어순 재정렬을 학습함으로써 번역 품질을 향상시키기 위해.
• 하위 트리 표현을 활용한 재귀 신경망을 통해 수작업 특성에 의존하지 않는 사전 순서 정렬 방법을 개발하기 위해.
• 제안된 방법이 문장 기반 SMT 및 신경 기계 번역 환경에서 평가되어 다양한 아키텍처 간의 일반화 능력을 입증하기 위해.

제안 방법

• 이 방법은 이진 문법 트리의 내부 노드에서 자식 노드의 순서를 재정렬할지 여부를 하위 트리 표현과 문법 카테고리 기반으로 예측하기 위해 재귀 신경망(RvNN)을 사용한다.
• 하위 트리 벡터는 하위 노드 임베딩을 연결한 후 비선형 변환을 적용하고, ReLU 활성화 함수를 사용하여 하향식으로 계산된다.
• RvNN은 은닉 표현의 가중치 합에 소프트맥스 레이어를 적용하여 '직렬'과 '역순서' 레이블에 대한 확률 분포를 출력한다.
• 골드 표준 레이블은 원천 어휘 정렬과 목표 문장 순서 간의 켄달의 τ 상관관계를 사용하여 생성되며, 재정렬이 τ를 증가시키면 '역순서'로 할당된다.
• 단어 임베딩, 품사 태그, 문법 카테고리가 잎 노드의 표현을 풍부하게 하기 위해 입력 특성으로 사용된다.
• 모델은 문법 트리 전체에 대해 엔드 투 엔드로 학습되며, 각 내부 노드에서 학습된 하위 트리 의미를 기반으로 재정렬 결정이 내려진다.

실험 결과

연구 질문

• RQ1 영어-일본어 번역에서 수작업 특성 설계 없이도 재귀 신경망이 효과적인 사전 순서 정렬 결정을 학습할 수 있는가?
• RQ2 RvNN 기반 사전 순서 정렬 방법의 성능은 BLEU 및 RIBES 점수 측면에서 최상위 수준의 특성 기반 사전 순서 정렬 방법과 비교해 어떻게 되는가?
• RQ3 문법 카테고리와 품사 태그는 학습된 사전 순서 정렬 결정의 품질을 어느 정도 향상시키는가?
• RQ4 왜 사전 순서 정렬은 문장 기반 SMT에서는 성능을 향상시키지만 신경 기계 번역(NMT)에서는 성능을 떨어뜨리는가? 이 문제를 어떻게 완화할 수 있는가?
• RQ5 RvNN 모델은 PBSMT 및 NMT를 포함한 다양한 기계 번역 아키텍처 간에서 일반화 능력을 가지는가?

주요 결과

• RvNN 기반 사전 순서 정렬 방법은 PBSMT에서 BLEU 점수 32.1, RIBES 점수 0.71을 기록하였으며, p-value가 각각 0.068 및 0.226인 최상위 수준의 특성 기반 방법(BTG)과 동등한 성능을 보였다.
• 사전 순서 정렬 없이 그대로 사용한 단순 PBSMT 대비 뚜렷한 성능 향상을 보였으며, BLEU 점수는 29.8에서 32.1로 상승했다.
• 품사 태그와 문법 카테고리를 통합함으로써 BLEU 점수가 향상되었으며, 최적 성능은 λ=200에서 달성되었고, λ를 더 높여도 성능 향상이 없었다.
• RvNN를 사용한 사전 순서 정렬 이후 고려한 τ 값 비율이 크게 증가하여 목표 어순과의 일치도 향상됨을 시사했다.
• PBSMT에서는 성능 향상이 있었지만, NMT 모델에서는 사전 순서 정렬을 적용한 결과 기준 모델보다 BLEU 점수가 낮아졌으며, 이는 사전 순서 정렬과 NMT 학습 목표 간의 불일치를 시사한다.
• 수작업 분석 결과, 파싱 오류로 인해 사전 순서 정렬 실패가 발생했지만, 사전 순서 정렬이 성공한 경우 전반적인 번역 품질은 뚜렷이 향상되었다.