[논문 리뷰] Linguistically Informed ChatGPT Prompts to Enhance Japanese-Chinese Machine Translation: A Case Study on Attributive Clauses

Wenshi Gu|arXiv (Cornell University)|2023. 03. 27.

Natural Language Processing Techniques인용 수 11

한 줄 요약

본 논문은 언어학적으로 정보가 반영된 사전 편집 스킴과 두 단계 ChatGPT 프롬프트 전략을 통해 수식어절의 일본어→중국어 번역을 개선하고 제로샷 설정에서 평균 번역 정확도가 35% 이상 향상되었다고 제시한다.

ABSTRACT

In the field of Japanese-Chinese translation linguistics, the issue of correctly translating attributive clauses has persistently proven to be challenging. Present-day machine translation tools often fail to accurately translate attributive clauses from Japanese to Chinese. In light of this, this paper investigates the linguistic problem underlying such difficulties, namely how does the semantic role of the modified noun affect the selection of translation patterns for attributive clauses, from a linguistic perspective. To ad-dress these difficulties, a pre-edit scheme is proposed, which aims to enhance the accuracy of translation. Furthermore, we propose a novel two-step prompt strategy, which combines this pre-edit scheme with ChatGPT, currently the most widely used large language model. This prompt strategy is capable of optimizing translation input in zero-shot scenarios and has been demonstrated to improve the average translation accuracy score by over 35%.

연구 동기 및 목표

• 일본어→중국어 번역에서 수식어절이 왜 번역하기 어려운지 조사한다.
• 수정된 명사의 의미 역할이 번역 패턴에 어떤 영향을 미치는지 식별한다.
• 더 정확한 번역을 촉진하기 위한 사전 편집 스킴을 개발한다.
• 사전 편집을 ChatGPT 프롬프트와 결합한 두 단계 프롬프트 전략을 제시하여 제로샷 번역을 수행한다.
• 제안된 방법이 번역 정확도에 미치는 영향을 평가한다.

제안 방법

• 수식어절의 번역 지침을 제시하기 위해 언어학적으로 근거 있는 사전 편집 스킴을 형성한다.
• 사전 편집 스킴을 ChatGPT 프롬프트에 통합하는 두 단계 프롬프트 전략을 개발한다.
• 일본어에서 중국어로의 제로샷 번역 작업에 이 전략을 적용한다.
• 기준 번역과 비교한 번역 정확도 개선을 평가한다.
• 이 접근법이 평균 번역 정확도 향상을 가져다준다는 것을 보여준다.
• 수정된 명사의 의미 역할이 번역 패턴 선택에 어떤 영향을 미치는지 논의한다.

실험 결과

연구 질문

• RQ1 수정된 명사의 의미 역할이 일본어→중국어 수식어절의 번역 패턴에 어떤 영향을 미치는가?
• RQ2 언어학적으로 정보에 기반한 사전 편집 스킴이 ChatGPT 프롬프트와 결합될 때 제로샷 번역 품질을 개선할 수 있는가?
• RQ3 두 단계 프롬프트 전략을 사용할 때와 기준 방법 대비 번역 정확도에 전반적으로 어떤 영향이 있는가?

주요 결과

• 사전 편집 스킴과 두 단계 ChatGPT 프롬프트 전략의 결합은 제로샷 상황에서 평균 번역 정확도를 35% 이상 향상시킨다.