[논문 리뷰] Building a reordering system using tree-to-string hierarchical model

Jacob Dlougach, Irina Galinskaya|arXiv (Cornell University)|2013. 02. 13.

Natural Language Processing Techniques참고 문헌 24인용 수 5

한 줄 요약

이 논문은 모스 툴킷과 차트 디코더를 사용하여 구현한 문장 재정렬을 위한 트리-문자열 계층적 모델을 제안한다. 영-페르시아어, 영-이탈리아어, 영-우르두어 번역 작업에서 기준 시스템 대비 BLEU, 켄달-타우, 허밍 점수 향상이 뚜렷하게 나타나, 다양한 어순어쌍에 걸쳐 효과적인 것으로 입증된다.

ABSTRACT

This paper describes our submission to the First Workshop on Reordering for Statistical Machine Translation. We have decided to build a reordering system based on tree-to-string model, using only publicly available tools to accomplish this task. With the provided training data we have built a translation model using Moses toolkit, and then we applied a chart decoder, implemented in Moses, to reorder the sentences. Even though our submission only covered English-Farsi language pair, we believe that the approach itself should work regardless of the choice of the languages, so we have also carried out the experiments for English-Italian and English-Urdu. For these language pairs we have noticed a significant improvement over the baseline in BLEU, Kendall-Tau and Hamming metrics. A detailed description is given, so that everyone can reproduce our results. Also, some possible directions for further improvements are discussed.

연구 동기 및 목표

• 통계적 기계 번역을 위한 재정렬 시스템을 트리-문자열 계층적 모델을 사용해 개발한다.
• 영-페르시아어, 영-이탈리아어, 영-우르두어를 포함한 다양한 어순어쌍에서 접근 방식을 평가한다.
• BLEU, 켄달-타우, 허밍 거리와 같은 표준 지표를 통해 번역 품질 향상을 측정 가능한 방식으로 달성한다.
• 모스와 같은 공개 도구를 사용해 완전히 재현 가능한 구현을 제공한다.
• 다양한 문법적 구조를 가진 어순어쌍 간의 일반화 가능성 탐색

제안 방법

• 공개된 병렬 문장 쌍을 기반으로 훈련된 트리-문자열 계층적 모델을 사용한다.
• 모스 툴킷을 사용해 번역 모델을 구축하며, 어구 기반 및 계층적 어구 기반 디코딩을 지원한다.
• 모스에 통합된 차트 디코더를 적용해 문법적 트리 구조에 기반해 원천 문장 구성요소의 순서를 재정렬한다.
• 원천 언어의 문법적 트리와 목표 문자열 출력 간의 정렬을 통해 재정렬 패턴을 학습한다.
• 다른 연구자들이 재현 가능하고 접근하기 쉽게 하기 위해 오직 공개 도구만을 활용한다.
• 일반화 능력을 평가하기 위해 영-페르시아어, 영-이탈리아어, 영-우르두어 쌍에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 트리-문자열 계층적 모델은 통계적 기계 번역에서 재정렬을 효과적으로 향상시킬 수 있는가?
• RQ2 다른 문법적 구조를 가진 다양한 어순어쌍에 걸쳐 제안된 방법이 일관된 향상을 이끌어낼 수 있는가?
• RQ3 BLEU, 켄달-타우, 허밍 거리와 같은 표준 평가 지표에서 모델의 성능은 어떠한가?
• RQ4 오직 공개 도구만을 사용해 시스템을 얼마나 재현할 수 있는가?
• RQ5 재정렬 성능 향상을 위한 향후 개선 방향은 무엇인가?

주요 결과

• 제안된 시스템은 영-페르시아어, 영-이탈리아어, 영-우르두어를 포함한 모든 테스트 어순어쌍에서 기준 시스템 대비 BLEU 점수 향상을 뚜렷하게 달성했다.
• 켄달-타우 및 허밍 지표에서 뚜렷한 향상이 나타나, 단어 순서 일치도 및 구조 일관성이 향상됨을 시사한다.
• 어순어쌍 간의 일반화 능력이 뛰어나, 문법적 다양성에 대해 강건함을 보였다.
• 모스와 같은 공개 도구만을 사용한 구현 덕분에 결과의 완전한 재현 가능성이 확보되었다.
• 저자들은 향후 향상 가능성이 있는 방향으로 트리 정렬 및 디코딩 전략의 개선을 제시한다.