[논문 리뷰] (Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts

Minghao Wu, Xu, Jiahao외 5명|arXiv (Cornell University)|2024. 05. 20.

Translation Studies and Practices인용 수 5

한 줄 요약

이 논문은 Ultra-long 문학 텍스트 번역을 위한 다중 에이전트 LLM 기반 시스템인 TransAgents를 소개하고, Monolingual Human Preference(MHP) 및 Bilingual LLM Preference(BLP) 평가 방법을 제안하며, d-BLEU 점수는 낮아도 독자 선호 측면에서 인간 참조를 능가할 수 있고 비용 측면에서도 큰 절감이 있음을 보여준다.

ABSTRACT

Literary translation remains one of the most challenging frontiers in machine translation due to the complexity of capturing figurative language, cultural nuances, and unique stylistic elements. In this work, we introduce TransAgents, a novel multi-agent framework that simulates the roles and collaborative practices of a human translation company, including a CEO, Senior Editor, Junior Editor, Translator, Localization Specialist, and Proofreader. The translation process is divided into two stages: a preparation stage where the team is assembled and comprehensive translation guidelines are drafted, and an execution stage that involves sequential translation, localization, proofreading, and a final quality check. Furthermore, we propose two innovative evaluation strategies: Monolingual Human Preference (MHP), which evaluates translations based solely on target language quality and cultural appropriateness, and Bilingual LLM Preference (BLP), which leverages large language models like GPT-4} for direct text comparison. Although TransAgents achieves lower d-BLEU scores, due to the limited diversity of references, its translations are significantly better than those of other baselines and are preferred by both human evaluators and LLMs over traditional human references and GPT-4} translations. Our findings highlight the potential of multi-agent collaboration in enhancing translation quality, particularly for longer texts.

연구 동기 및 목표

• MT와 LLM으로 문학 번역의 도전과제를 제시하고 해결한다.
• 전통적인 출판 워크플로를 모방하는 다중 에이전트 프레임워크를 제시한다.
• 문학에 맞춘 새로운 평가 전략(MHP 및 BLP)을 도입한다.
• 비용 이점을 입증하고 장르별 강점/한계를 분석한다.

제안 방법

• CEO, 선임/주니어 편집자, 번역가, 로컬라이제이션 전문가, 교정자 등의 역할을 가진 가상 번역 회사인 TransAgents를 제안한다.
• 두 가지 협업 전략: Addition-by-Subtraction(Algorithm 1)과 Trilateral Collaboration(Algorithm 2)을 구현한다.
• 준비(역할 할당, 가이드라인)와 실행(번역, 로컬라이제이션, 교정, 최종 검토)의 두 단계 번역 워크플로를 사용한다.
• 다양한 에이전트를 시뮬레이션하기 위해 gpt-4-turbo로 생성된 30개의 에이전트 프로필과 역할 할당을 위한 ghost/self-reflection 메커니즘을 사용한다.
• 표준 d-BLEU(문서 수준)와 선호도 기반 지표(MHP 및 BLP)로 번역을 평가한다.
• Llama-MT, GPT-4 변형, Google Translate, DUT, HW-TSC를 포함한 기준과 비교한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 LLM 기반 프로세스가 전통적 MT 및 인간 참조와 비교하여 초장문학 텍스트를 번역하는 데 어떤 차이가 있는가?
• RQ2 새로운 평가 전략(MHP와 BLP)이 전통 지표보다 문학 번역 품질을 더 잘 포착할 수 있는가?
• RQ3 문학 번역에서 BLEU 기반 품질과 독자/LLM 선호도 간의 trade-off는 무엇인가?
• RQ4 문학 분야에 다중 에이전트 번역 시스템을 배치할 때의 비용 함의와 한계는 무엇인가?

주요 결과

• TransAgents는 기준들 중에서 가장 낮은 d-BLEU를 기록하지만, 특정 장르에서 인간 평가자와 LLM 평가자 모두가 인간이 작성한 참조 및 심지어 GPT-4 번역보다 지속적으로 선호한다.
• 이 시스템은 도메인 지식이 필요한 장르(역사적, 문화적 뉘앙스)에서 뛰어나며 참조번역보다 더 다양하고 생생한 묘사를 생성한다.
• 비용 측면에서도 상당한 이점이 있으며, TransAgents는 전문 인간 번역에 비해 최대 80배의 비용 절감을 제공한다.
• LLM 기반 번역 시스템은 여전히 콘텐츠 누락 및 긴 반복 과정에서의 품질 변동성과 같은 문제에 직면해 있다.