[논문 리뷰] Chinese Character Decomposition for Neural MT with Multi-Word Expressions

Lifeng Han, Gareth J. F. Jones외 2명|arXiv (Cornell University)|2021. 04. 09.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 중국어 문자의 다중 수준 분해—각도, 획, 중간 형태—와 다어휘어 표현(Multi-Word Expression, MWE) 통합을 활용하는 새로운 신경 기계 번역(NMT) 프레임워크를 제안한다. 성능 향상을 위해 수준 1(각도)과 수준 3(획)에서의 분해가 원래 문자의 의미를 유지하며 BLEU 점수를 전체 문자 기반 기준과 유사하게 달성하는 것으로 나타났다. 반면 수준 2(중간 형태)에서는 의미를 오해하게 하는 단위로 인해 성능 저하가 발생한다.

ABSTRACT

Chinese character decomposition has been used as a feature to enhance Machine Translation (MT) models, combining radicals into character and word level models. Recent work has investigated ideograph or stroke level embedding. However, questions remain about different decomposition levels of Chinese character representations, radical and strokes, best suited for MT. To investigate the impact of Chinese decomposition embedding in detail, i.e., radical, stroke, and intermediate levels, and how well these decompositions represent the meaning of the original character sequences, we carry out analysis with both automated and human evaluation of MT. Furthermore, we investigate if the combination of decomposed Multiword Expressions (MWEs) can enhance the model learning. MWE integration into MT has seen more than a decade of exploration. However, decomposed MWEs has not previously been explored.

연구 동기 및 목표

• 다중 수준 중국어 문자 분해—각도, 획, 중간 형태—가 신경 기계 번역(NMT)에 미치는 영향을 조사한다.
• 분해된 표현이 원래 문자 시퀀스의 의미를 유지하는지 평가한다.
• 분해된 문자 표현을 사용하여 NMT 모델에 다어휘어 표현(MWE)을 통합하는 효과성을 검토한다.
• 연구 목적을 위해 사용 가능한 중국어 문자 분해 및 双어성 MWE 애너테이션 코퍼스를 포함한 오픈소스 툴킷을 개발하고 공개한다.
• 다양한 분해 수준과 MWE 통합 전략에 대해 자동 평가(BLEU)와 인간 평가(Direct Assessment) 결과를 비교한다.

제안 방법

• 저자들은 중국어 문자를 각도(수준 1), 획(수준 3), 중간 형태(수준 2)로 분해하는 다중 수준 분해 파이프라인을 설계하였으며, 수준 2는 형태학적으로 작지만 의미적으로 독립적인 문자를 나타낸다.
• 모델은 어순-어순 NMT 모델을 어순, 각도, 획 수준의 표현을 입력 임베딩으로 사용하여 어텐션 메커니즘을 적용해 훈련한다.
• 훈련 및 디코딩 중 다어휘어 표현(MWE)을 단일 단위로 간주함으로써 MWE를 통합하며, 새로운 오픈소스 코퍼스에 포함된 이중어성 MWE를 추출하고 애너테이션한다.
• 인간 평가는 표준화된 z-점수를 사용한 Direct Assessment(DA) 방식으로 수행되어 시스템 간 번역 품질을 평가한다.
• 자동 평가는 BLEU를 사용하며, 향후 작업에서 METEOR와 LEPOR를 활용한 유의성 검정을 계획하고 있다.
• 획 수준 추출에는 IDS 기반 방법을 사용하였지만, 현재의 한계로 인해 완전한 획 수준 정밀도 확보가 어려운 점을 인정한다.

실험 결과

연구 질문

• RQ1 각도, 중간 형태, 획 등 중국어 문자 분해의 다양한 수준이 NMT에서 의미 표현과 번역 품질에 어떻게 영향을 미치는가?
• RQ2 표준 문자 수준 모델링과 비교해, 분해된 다어휘어 표현(MWE)의 통합이 NMT 성능 향상에 기여하는가?
• RQ3 중간 표현임에도 불구하고 수준 2 분해가 수준 1과 3보다 성능이 열 劣한 이유는 무엇인가?
• RQ4 각도와 획 수준의 임베딩이 원래 문자 시퀀스의 의미를 어느 정도 유지하는가?
• RQ5 자동 평가 지표인 BLEU가 분해 수준 간 번역 품질 평가에서 인간 평가와 어떻게 비교되는가?

주요 결과

• 수준 1(각도)과 수준 3(획)에서의 분해가 전체 문자 기반 기준과 유사한 BLEU 점수를 달성하며, 의미 유지가 효과적임을 시사한다.
• 수준 2 분해에서는 인간 평가 점수가 수준 1과 3보다 유의미하게 낮으며, '從(cóng, from)'이나 '王(wáng, king)'처럼 의미적으로 오해의 소지가 있는 중간 형태의 도입이 원인이다.
• 인간 평가 결과에서는 MWE 통합 모델과 비통합 모델 간 통계적 유의성 차이가 없었지만, BLEU 점수는 통합 모델에서 향상되었다.
• 오류 분석 결과, 수준 2 분해는 원래 문자의 의미와 일치하지 않는 독립된 의미를 가진 문자를 생성하여 모델 학습을 방해함을 확인했다.
• 본 연구는 획 수준 분해(수준 3)가 NMT에 실현 가능하고 의미 있는 방식임을 확인했지만, 현재의 IDS 기반 추출 방식으로는 완전한 획 수준 정밀도 확보가 어려운 점을 밝혔다.
• 저자들은 향후 연구를 지원하기 위해 오픈소스 툴킷과 이중어성 MWE 애너테이션 코퍼스를 공개하였다.