[논문 리뷰] PETCI: A Parallel English Translation Dataset of Chinese Idioms

Kenan Tang|arXiv (Cornell University)|2022. 02. 19.

Natural Language Processing Techniques인용 수 5

한 줄 요약

PETCI는 사전에서 수집한 인간 번역과 Google 및 DeepL의 기계 번역을 결합하여 만든 중국 속어의 병렬 영문 번역 데이터셋이다. 이 데이터셋은 구조 인지 분류 모델을 통해 번역 성능을 햖थ하고, 기준 모델보다 뛰어난 성능을 보이며, 언어학적 전문 지식 없이도 쉽게 확장 가능하여 기계 번역 및 어학 학습에 유리하다.

ABSTRACT

Idioms are an important language phenomenon in Chinese, but idiom translation is notoriously hard. Current machine translation models perform poorly on idiom translation, while idioms are sparse in many translation datasets. We present PETCI, a parallel English translation dataset of Chinese idioms, aiming to improve idiom translation by both human and machine. The dataset is built by leveraging human and machine effort. Baseline generation models show unsatisfactory abilities to improve translation, but structure-aware classification models show good performance on distinguishing good translations. Furthermore, the size of PETCI can be easily increased without expertise. Overall, PETCI can be helpful to language learners and machine translation systems.

연구 동기 및 목표

• 기계 번역 및 어학 학습 향상을 위해 고품질의 병렬 영중 속어 번역 데이터셋 부족 문제를 해결하기 위해.
• 인간 번역과 기계 번역을 융합하여 성능 향상을 이룰 수 있는 확장 가능한 데이터셋을 구축하기 위해.
• 저품질 번역을 식별하고 개선하기 위한 분류 및 재작성 작업을 개발하고 평가하기 위해.
• 데이터셋 확장에 언어학적 전문 지식이 필요 없도록 모델 훈련 및 평가를 가능하게 하기 위해.
• 자연어 처리 연구 및 어학 교육을 지원하는 공개 자원을 제공하기 위해.

제안 방법

• OCR와 수동 검증을 통해 인쇄된 중국 속어 사전에서 인간 번역을 수집하기 위해.
• Google 및 DeepL 인터페이스의 웹 스크래핑을 통해 기계 번역을 확보하기 위해.
• 구조적 및 어휘적 특징을 활용하여 골드 표준 번역과 열악한 번역을 구분하는 이진 분류 작업을 설계하기 위해.
• 저품질 번역을 향상시키기 위한 재작성 작업을 만들었으며, 모델이 더 나은 다듬어진 표현을 생성하도록 훈련시켰다.
• 정확도와 퍼플렉서티를 평가하기 위해 BERT, Tree-LSTM, LSTM 등의 신경망 모델을 분류 및 생성 작업에 적용하였다.
• Tesseract OCR 및 커스텀 스크립트를 사용하여 번역을 추출하고 검증하였으며, 자동화된 검증과 수동 점검을 통해 데이터 품질을 확보하였다.

실험 결과

연구 질문

• RQ1 인간 번역과 기계 번역을 융합한 병렬 데이터셋이 중국 속어 번역 모델의 성능 향상에 기여할 수 있는가?
• RQ2 구조 인지 모델은 표준 순차 모델에 비해 골드 표준 번역을 분류하는 데서 어떤 성능을 보이는가?
• RQ3 PETCI 데이터셋의 크기를 늘릴수록 모델 성능이 향상되는가, 특히 분류 작업에서 그러한 경향이 나타나는가?
• RQ4 훈련 퍼플렉서티는 감소했지만 개발 퍼플렉서티는 높은 수준을 유지함으로써 재작성 모델이 일반화에 실패하는 이유는 무엇인가?
• RQ5 언어학적 전문 지식 없이 데이터셋을 얼마나 확장할 수 있으며, 이는 모델 성능에 어떤 영향을 미치는가?

주요 결과

• Tree-LSTM 및 BERT와 같은 구조 인지 모델은 표준 LSTM 모델보다 골드 표준 번역을 분류하는 데서 뛰어난 성능을 보이며, 특히 Human 세트에서 두드러진다.
• 분류 모델의 성능은 데이터셋 크기가 증가함에 따라 향상되며, 이는 확장 가능성을 보여주고, 더 큰 데이터로도 추가 성능 향상이 가능함을 시사한다.
• 재작성 작업은 과적합으로 인해 실패했다. 훈련 퍼플렉서티는 감소했지만 개발 퍼플렉서티는 높은 수준을 유지했으며, 이는 현재 생성 모델이 너무 과도한 작업을 수행하기에 부적절하다는 것을 시사한다.
• 기준 모델은 재작성 작업에서 떨어진 성능을 보였으며, 테스트 세트 성능이 명확히 열악한 편이었다. 이는 검색 기반 증강 생성 또는 더 나은 인도크티브 바이어스가 필요함을 시사한다.
• 데이터셋 설계 덕분에 언어학적 전문 지식 없이도 쉽게 확장 가능하며, 이는 분류 작업의 성공적인 확장으로 입증되었다.
• BERT의 골드 번역 정확도는 Human 세트에서 Tree-LSTM보다 더 빠르게 감소했으며, 이는 구조적 혼동 때문일 가능성이 높다. 반면 Machine 세트에서는 덜 혼동되었다.