[논문 리뷰] Decomposed Prompting for Machine Translation Between Related Languages using Large Language Models

Ratish Puduppully, Kunchukuttan, Anoop외 3명|arXiv (Cornell University)|2023. 05. 22.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 관련 언어 간 저자원 기계 번역을 위해 문장을 단어 조각으로 분할하고, 이를 독립적이고 맥락 기반으로 번역하는 분해된 프롬프팅 접근법인 DecoMT를 제안한다. BLOOM 및 mT5와 같은 강력한 few-shot 베이스라인을 능가하며, 다양한 언어 조합에서 평균 8 chrF++ 향상률을 기록한다.

ABSTRACT

This study investigates machine translation between related languages i.e., languages within the same family that share linguistic characteristics such as word order and lexical similarity. Machine translation through few-shot prompting leverages a small set of translation pair examples to generate translations for test sentences. This procedure requires the model to learn how to generate translations while simultaneously ensuring that token ordering is maintained to produce a fluent and accurate translation. We propose that for related languages, the task of machine translation can be simplified by leveraging the monotonic alignment characteristic of such languages. We introduce DecoMT, a novel approach of few-shot prompting that decomposes the translation process into a sequence of word chunk translations. Through automatic and human evaluation conducted on multiple related language pairs across various language families, we demonstrate that our proposed approach of decomposed prompting surpasses multiple established few-shot baseline approaches. For example, DecoMT outperforms the strong few-shot prompting BLOOM model with an average improvement of 8 chrF++ scores across the examined languages.

연구 동기 및 목표

• 자원이 부족한 관련 언어 간 기계 번역 문제를 다루며, 데이터 불균형과 언어학적 인도티브 바이어스 부족으로 인한 낮은 성능을 해결한다.
• 표준 few-shot 프롬프팅의 한계를 극복하며, 관련 언어 조합에서 흔히 나타나는 일관된 어순(모노톤 어순)을 활용하지 못하는 문제를 해결한다.
• 점진적인 맥락 인식 기반 조각 번역을 통해 번역의 유창성과 정확도를 향상시키기 위해 번역을 관리 가능한 하위 작업으로 분해한다.
• 인도아리안, 아우스트로아시아틱, 인도유럽어족 등 다양한 어족 조합에서 저자원 환경에서도 견고한 성능을 보여준다.
• 모델의 어순 재정렬 부담을 줄이며 추론 효율성을 유지하면서도 실용적이고 확장 가능한 프롬프팅 프레임워크를 제공한다.

제안 방법

• 문장을 겹치지 않는 단어 조각으로 분할하여 하위 문장 단위로 번역을 단순화한다.
• 소규모 예시 번역 세트를 사용한 few-shot 프롬프팅을 통해 각 조각을 독립적으로 번역한다.
• 이전에 번역된 조각과 원본 맥락을 기반으로 이후 조각을 생성하기 위해 맥락 인식 기반 자동회귀 디코딩 전략을 사용한다.
• 관련 언어에서 공통적으로 나타나는 일관된 어순(모노톤 어순) 특성을 활용하기 위해 조각 수준의 번역을 통해 어순 재정렬을 최소화한다.
• 모든 번역 단계에서 독립적 번역 및 맥락 기반 번역 단계에 mT5를 기반으로 한 인코더-디코더 LLM을 활용한다.
• 두 단계 프롬프팅 파이프라인을 설계한다: (1) 조각의 독립적 번역, (2) 이전 번역 결과와 원본 맥락을 활용한 점진적 맥락 보완

실험 결과

연구 질문

• RQ1 관련 언어 간 일관된 어순 특성을 활용함으로써 분해된 프롬프팅이 저자원 언어 조합의 번역 품질을 향상시킬 수 있는가?
• RQ2 번역 품질과 추론 효율성 측면에서 DecoMT는 표준 few-shot 프롬프팅과 순차적 자동회귀 프롬프팅 대비 어떻게 비교되는가?
• RQ3 다섯 번의 예시를 사용한 설정 대비 일회성 또는 영점 설정에서 DecoMT의 성능 저하 정도는 어느 정도인가?
• RQ4 특히 긴 또는 복잡한 문장에서, 조각화 전략이 모델의 어순 재정렬 필요성을 어느 정도 줄이는가?
• RQ5 이 방법은 인도아리안어족, 드라비아니언어족, 유럽어족 등 다양한 어족 조합으로 일반화 가능한가?

주요 결과

• DecoMT는 평가된 모든 언어 조합에서 강력한 BLOOM few-shot 프롬프팅 베이스라인을 평균 8 chrF++ 향상시켜 뛰어난 성능을 기록한다.
• 일회성 설정에서도 DecoMT는 뛰어난 성능을 유지하지만, SAP 및 표준 프롬프팅은 심한 성능 저하를 겪는다. 예를 들어, hin→tel 번역에서 SAP의 spBLEU 점수는 다섯 번의 예시 설정에서 19.3에서 일회성 설정에서 1.3으로 급격히 하락한다.
• DecoMT는 고자원 환경에서도 견고한 성능을 기록하여, 저자원 설정 외에도 광범위하게 적용 가능한 것으로 나타났다.
• 순차적 자동회귀 프롬프팅(SAP) 대비 추론 시간을 단축시켰으며, 맥락 기반 번역에 대해 총 T/m번의 순방향 전파만 필요로 한다. 여기서 m은 조각 크기이다.
• mT5를 사용한 영점 번역에서는 거의 0에 가까운 BLEU 점수를 기록하여, 명시적인 few-shot 예시가 없이 모델이 번역 작업을 인식하지 못하는 것으로 나타났다.
• 인간 평가 결과, DecoMT는 특히 문장 구조와 어순을 유지하는 데서 베이스라인 대비 더 자연스럽고 정확한 번역을 생성하는 것으로 확인되었다.