[논문 리뷰] Towards Recognizing Phrase Translation Processes: Experiments on English-French

Yuming Zhai, Pooyan Safari외 3명|arXiv (Cornell University)|2019. 04. 27.

Natural Language Processing Techniques참고 문헌 35인용 수 5

한 줄 요약

이 논문은 수작업으로 주석 처리된 영어-프랑스어 TED 강연 어휘자료를 사용하여 문장 수준 이하의 미세한 번역 과정을 자동으로 분류하는 방법을 제안한다. 특성 공학과 랜덤 포레스트 분류를 활용하여 의미 그대로 번역과 비의미 그대로 번역을 구분하는 데 87.09%의 정확도를 달성하고, 비의미 그대로 번역의 다섯 가지 유형을 분류하는 데는 55.20%의 정확도를 기록하여, 번역 과정 인식의 자동화 가능성을 입증하며, 약어 추출 및 어학 학습 도구 향상에 기여한다.

ABSTRACT

When translating phrases (words or group of words), human translators, consciously or not, resort to different translation processes apart from the literal translation, such as Idiom Equivalence, Generalization, Particularization, Semantic Modulation, etc. Translators and linguists (such as Vinay and Darbelnet, Newmark, etc.) have proposed several typologies to characterize the different translation processes. However, to the best of our knowledge, there has not been effort to automatically classify these fine-grained translation processes. Recently, an English-French parallel corpus of TED Talks has been manually annotated with translation process categories, along with established annotation guidelines. Based on these annotated examples, we propose an automatic classification of translation processes at subsentential level. Experimental results show that we can distinguish non-literal translation from literal translation with an accuracy of 87.09%, and 55.20% for classifying among five non-literal translation processes. This work demonstrates that it is possible to automatically classify translation processes. Even with a small amount of annotated examples, our experiments show the directions that we can follow in future work. One of our long term objectives is leveraging this automatic classification to better control paraphrase extraction from bilingual parallel corpora.

연구 동기 및 목표

• 이중 병렬 어휘자료에서 문장 수준 이하의 미세한 번역 과정을 자동으로 분류하는 방법을 개발하기 위해.
• 제한된 주석 처리된 데이터로도 일상어 등가, 일반화, 특정화와 같은 비의미 그대로 번역 과정을 효과적으로 분류할 수 있는지 탐색하기 위해.
• 비의미 그대로 번역 과정을 식별하고 활용하여 병렬 어휘자료에서의 약어 추출 제어를 향상시키기 위해.
• 번역 전략의 자동 인식을 통해 외국어 학습자가 원천 언어 표현과 목표 언어 표현을 비교할 수 있도록 지원하기 위해.
• 먼저 의미 그대로 번역과 비의미 그대로 번역을 분리하고, 이후에 더 세밀한 분류를 수행하는 계층적 분류 파이프라인의 기초를 마련하기 위해.

제안 방법

• 본 연구는 1,098개의 어휘 수준 번역 예제를 포함한 수작업 주석 처리된 영어-프랑스어 병렬 어휘자료를 사용하며, 이는 의미 그대로 번역과 다섯 가지 비의미 그대로 번역 과정으로 분류된다.
• 특성은 다양한 소스에서 공학된다: 품사 태깅, 표면 형태, 문법 분석, 외부 지식(ConceptNet), 및 단어 정렬 점수.
• 양방향 어휘 가중치와 단어 정렬 특성군이 특히 이진 분류에 있어 가장 정보가 많다는 것이 발견되었다.
• 랜덤 포레스트 분류기를 사용하며, 특성군 기여도와 모델의 강건성을 평가하기 위해 분석 실험을 실시한다.
• 모델은 이진 분류(의미 그대로 대비 비의미 그대로)와 다중 분류(다섯 가지 비의미 그대로 유형) 설정 모두에서 훈련 및 평가되며, 분석 실험에서는 균형 잡힌 클래스 분포를 적용한다.
• 오류 분석을 통해 혼동 패턴을 파악하고, 특히 등가성과 포함 전치 간의 혼동을 중심으로, 그룹화된 클래스를 활용한 재분류 실험을 실시한다.

실험 결과

연구 질문

• RQ1 제한된 주석 처리된 데이터로 비의미 그대로 번역 과정을 자동으로 분류할 수 있는가?
• RQ2 의미 그대로 번역과 비의미 그대로 번역을 구분하는 데 가장 효과적인 특성들은 무엇인가?
• RQ3 다양한 세분성(이진 대비 다중 분류)과 특성 조합에 따라 분류 성능는 어떻게 변하는가?
• RQ4 다중 분류에서 주요 혼동 원인은 무엇이며, 클래스를 재그룹화하면 성능 향상이 가능한가?
• RQ5 예를 들어 먼저 의미 그대로 번역과 비의미 그대로 번역을 분리하고, 이후에 비의미 그대로 번역 유형을 더 세밀하게 분류하는 계층적 분류 전략이 전체 정확도 향상에 기여하는가?

주요 결과

• 제안된 방법은 의미 그대로 번역과 비의의 그대로 번역을 구분하는 데 87.09%의 정확도를 달성하여 무작위 기준보다 유의미하게 높은 성능을 보였다.
• 다섯 가지 비의미 그대로 번역 과정에 대한 다중 분류에서는 55.20%의 정확도를 기록하였으며, 마이크로 평균 F1은 0.55, 매크로 평균 F1은 0.48였다.
• 이진 분류에서 가장 기여도가 높은 특성군은 word_alignment였으며, 다중 분류에서는 품사 태깅과 문법 분석이 가장 정보가 많았다.
• 구성 문법 분석 및 ConceptNet 연결과 같은 일부 특성들을 제거해도 영향이 미미하여, 특성 중복성에 대한 강건성을 입증하였다.
• 성능이 가장 뛰어난 설정은 외부 지식과 일부 품사 특성만 제외한 모든 특성을 사용한 것으로, 실수치 형태 특성보다 이산형 특성이 더 뛰어난 성능을 보였다.
• 오류 분석 결과, 등가성과 포함 전치가 가장 혼동되는 카테고리였으며, 이 둘을 의미 그대로 번역과 함께 그룹화함으로써 이진 설정에서 분류 성능 향상이 가능했다.