[논문 리뷰] Reflective Translation: Improving Low-Resource Machine Translation via Structured Self-Reflection

Nicholas Cheng|arXiv (Cornell University)|2026. 01. 27.

Natural Language Processing Techniques인용 수 0

한 줄 요약

이 논문은 Reflective Translation을 제안하는데, LLM이 번역에 대한 구조화된 자기비판과 수정 수행하여 자원 부족인 영어–isiZulu 및 영어–isiXhosa MT를 미세 조정 없이 향상시키는 프롬프트 프레임워크이다. 재현성을 위한 반영 강화 데이터세트를 공개하고, 프롬프트별로 일관된 2차 패스 이득을 보여준다.

ABSTRACT

Low-resource languages such as isiZulu and isiXhosa face persistent challenges in machine translation due to limited parallel data and linguistic resources. Recent advances in large language models suggest that self-reflection, prompting a model to critique and revise its own outputs, can improve reasoning quality and factual consistency. Building on this idea, this paper introduces Reflective Translation, a prompt-based framework in which a model generates an initial translation, produces a structured self-critique, and then uses this reflection to generate a refined translation. The approach is evaluated on English-isiZulu and English-isiXhosa translation using OPUS-100 and NTREX-African, across multiple prompting strategies and confidence thresholds. Results show consistent improvements in both BLEU and COMET scores between first- and second-pass translations, with average gains of up to +0.22 BLEU and +0.18 COMET. Statistical significance testing using paired nonparametric tests confirms that these improvements are robust. The proposed method is model-agnostic, requires no fine-tuning, and introduces a reflection-augmented dataset that can support future supervised or analysis-driven work. These findings demonstrate that structured self-reflection is a practical and effective mechanism for improving translation quality in low-resource settings.

연구 동기 및 목표

• 저자원 언어의 병렬 데이터가 제한된 상황에서 MT 향상을 목표로 한다.
• 추론 시점의 자기 반성이 미세 조정 없이 번역의 신뢰성을 향상시킬 수 있는지 조사한다.
• isiZulu 및 isiXhosa를 대상으로 구조화된 반성 프레임워크를 개발하고 공개 MT 데이터셋으로 평가한다.
• 출처-초안-비평-수정 쌍에 대해 재현 가능한 반영 강화 데이터셋을 공개한다.

제안 방법

• LLM으로 초기 번역 생성.
• 오류, 수정 및 중요한 내용을 식별하는 구조화된 반성을 산출한다.
• 주요 내용을 RAKE 기반 토큰으로 마스킹하여 의미적 교정을 강제한다.
• 비평에 의해 안내된 2차 패스를 산출한다.
• OPUS-100과 NTREX-African에서 BLEU와 COMET으로 번역을 평가한다.
• Baseline, Chain-of-Thought, Few-shot 프롬 prompting 전략을 비교한다.

실험 결과

연구 질문

• RQ1 추론 시점에서의 구조화된 자기 반성이 미세 조정 없이 자원 부족 언어의 번역 충실도를 향상시킬 수 있는가?
• RQ2 두 번째 패스 번역이 프롬프트 전략 전반에서 1차 패스 출력보다 우수한가? (English–isiZulu 및 English–isiXhosa에서)
• RQ3 마스킹 인출(RAKE)의 역할은 카피를 줄이고 의미적 교정을 촉진하는가?

주요 결과

지표	N	중앙 증가	p-값	효과 크기 (r)
BLEU	324	+0.0788	1.45e-44	0.95
COMET	457	+0.1753	1.10e-65	0.96

• 두 번째 패스 번역은 프롬프트 전략 전반에서 일관되게 1차 패스보다 우수하다.
• COMET 이득은 일반적으로 BLEU 이득보다 크고 더 안정적이며 의미적 타당도 향상을 시사한다.
• 신뢰도 임계값 설정은 보장을 양보하고 정제된 샘플에서 평균 개선을 더 높게 만든다.
• 통계적 검정에서 유의한 개선이 나타남: BLEU 중앙값 이득 +0.0788 (p=1.45e-44, r=0.95); COMET 중앙값 이득 +0.1753 (p=1.10e-65, r=0.96).
• 반성 기능이 있는 Few-shot 프롬프트가 전략 전반에서 가장 안정적인 이득을 보였다.