[논문 리뷰] LuxMT Technical Report

Nils Rehlinger|arXiv (Cornell University)|2026. 02. 17.

Natural Language Processing Techniques인용 수 0

한 줄 요약

LuxMT는 Gemma 3에서 파생된 룩셈부르크어 MT 시스템으로 LB→FR 및 LB→EN에 미세조정되었고, 맞춤형 LB 벤치마크와 LuxEmbedder를 통한 데이터 필터링, 강한 향상으로 평가되며; 또한 LuxEmbedder를 품질 추정기로 탐구한다.

ABSTRACT

We introduce LuxMT, a machine translation system based on Gemma 3 27B and fine-tuned for translation from Luxembourgish (LB) into French (FR) and English (EN). To assess translation performance, we construct a novel benchmark covering LB-FR, LB-EN, and LB-FR using human-translated data from Luci, a tourist magazine about Luxembourg. Training data stems from LuxAlign, a parallel corpus of multilingual Luxembourgish news articles, and LB parliamentary transcripts augmented with Google Translate. We filter the data using LuxEmbedder, LB sentence embeddings, to remove low-equivalence segment-pairs. Overall, LuxMT's results suggest strong improvements over the Gemma 3 baseline, even for translating LB to German (DE), despite the training data not containing any DE. We also explore LuxEmbedder's potential to be used as a quality estimation metric and find strong correlations with other reference-based metrics. However, we call for further research to fully assess the metric's utility and advise using it with caution.

연구 동기 및 목표

• LB→FR 및 LB→EN에 특화시켜 기본 모델을 고품질 룩셈부르크어 MT로 만들고 가능하게 한다.
• 데이터 오염을 피하고 번역 품질을 평가하기 위해 맞춤형 룩셈부르크어 다중언어 벤치마크를 구축한다.
• 학습 데이터 품질 향상을 위해 LuxEmbedder 임베딩을 활용한 데이터 필터링을 조사한다.
• 크로스링구얼 트랜스퍼 효과를 탐구하기 위해 LB→FR, LB→EN, LB→DE 전반에서 LuxMT를 평가한다.
• LuxEmbedder를 잠재적 무참조 품질 추정 지표로 탐색하고 기존 지표와의 상관관계를 조사한다.

제안 방법

• 다수의 지역 LLM과의 비교를 통해 Luci 기반 벤치마크로 LB 번역에 가장 적합한 기본 모델을 선택한다.
• LuxAlign 및 국회 기록의 선별 혼합으로 Gemma 3를 LuxEmbedder 필터링 임계값과 함께 미세조정한다.
• 학습률 2e-5의 한 에포크 미세조정 일정으로 수행한다.
• 평가 시 따옴표 제거, 지표 앙상블(BLEURT-20, xCOMET XL, BERTScore, LE, BLEU, chrF2, TER)을 계산하고 LuxEmbedder를 QE 도구로 포함한다.
• LB→FR, LB→EN, LB→DE를 비교하고 Gemma 3 기준선 대비 차이를 보고한다.
• DE 미세조정 없이도 LB→DE가 향상되는 크로스링구얼 트랜스퍼를 검토한다.

실험 결과

연구 질문

• RQ1 LuxMT가 LuxEmbedder 필터링 데이터로 미세조정될 때 LB→FR 및 LB→EN에서 Gemma 3 기준선을 능가하는가?
• RQ2 DE 특화 미세조정 없이도 크로스링구얼 트랜스퍼로 LB→DE 번역이 향상될 수 있는가?
• RQ3 LuxEmbedder가 참조 기반 지표에 비해 품질 추정 대리로 얼마나 효과적인가?
• RQ4 룩셈부르크어 MT 성능에 대한 데이터 필터 임계값과 학습 에포크 수의 영향은 무엇인가?
• RQ5 Luci 및 LuxAlign 데이터로 구축된 LB 벤치마크의 신뢰도와 도메인 범위는 무엇인가?

주요 결과

• LuxMT는 Luci 벤치마크에서 LB→FR 및 LB→EN에 대해 Gemma 3 기준선보다 상당한 향상을 보인다.
• DE 데이터로 미세조정되지 않았음에도 LB→DE에서도 향상을 보이며 크로스링구얼 트랜스퍼 능력을 시사한다.
• LuxEmbedder는 여러 참조 기반 지표와 높은 상관관계를 보이며 신중히 품질 추정 도구로 활용될 가능성을 시사한다.
• 더 높은 LuxEmbedder 필터링 임계값(.98: 최종 미세조정에 사용)은 더 많은 고등가 데이터의 보존과 성능 향상을 가져온다.
• 학습률 2e-5로 Gemma 3를 한 에포크 미세조정하고 32k LB→FR 및 22.5k LB→EN 세그먼트의 데이터 혼합은 강한 결과를 도출한다.
• 온도 설정은 성능에 결정적 영향을 주지 못했고, 한 에포크 미세조정이 선호되었다.