[論文レビュー] LuxMT Technical Report

Nils Rehlinger|arXiv (Cornell University)|Feb 17, 2026

Natural Language Processing Techniques被引用数 0

ひとこと要約

LuxMTはGemma 3をLB→FRおよびLB→EN用に微調整したルクセンブルク語MTシステムで、カスタムLBベンチマーク、LuxEmbedderによるデータフィルタリング、評価は大きな利得を示し、品質推定器としてLuxEmbedderの可能性も探る。

ABSTRACT

We introduce LuxMT, a machine translation system based on Gemma 3 27B and fine-tuned for translation from Luxembourgish (LB) into French (FR) and English (EN). To assess translation performance, we construct a novel benchmark covering LB-FR, LB-EN, and LB-FR using human-translated data from Luci, a tourist magazine about Luxembourg. Training data stems from LuxAlign, a parallel corpus of multilingual Luxembourgish news articles, and LB parliamentary transcripts augmented with Google Translate. We filter the data using LuxEmbedder, LB sentence embeddings, to remove low-equivalence segment-pairs. Overall, LuxMT's results suggest strong improvements over the Gemma 3 baseline, even for translating LB to German (DE), despite the training data not containing any DE. We also explore LuxEmbedder's potential to be used as a quality estimation metric and find strong correlations with other reference-based metrics. However, we call for further research to fully assess the metric's utility and advise using it with caution.

研究の動機と目的

• LB→FRおよびLB→ENに特化して基盤モデルを高品質なルクセンブルク語MTへモチベートし、実現する。
• データ汚染を避け、翻訳品質を評価するためのカスタムなルクセンブルク語多言語ベンチマークを構築する。
• LuxEmbedder埋め込みを用いたデータフィルタリングが学習データ品質を向上させるかを調査する。
• LB→FR、LB→EN、LB→DEの3言語間でLuxMTを評価し、クロスリンガル転移効果を検証する。
• 参照なし品質推定指標としてLuxEmbedderを検討し、従来指標との相関を調べる。

提案手法

• Luciベースのベンチマークを用いて複数のローカルLLMと比較し、最適なLB翻訳用基礎モデルを選択する。
• LuxAlignと議会 transcriptsの混合データをLuxEmbedderフィルタリング閾値で整備してGemma 3を微調整する。
• 学習率2e-5で1エポックの微調整スケジュールを用いる。
• 評価では引用符を除去し、BLEURT-20、xCOMET XL、BERTScore、LE、BLEU、chrF2、TERのアンサンブルを計算し、LuxEmbedderをQEプローブとして含める。
• LB→FR、LB→EN、LB→DEを比較し、Gemma 3ベースラインとの差分を報告する。
• DEデータでの微調整を行わずともクロスリンガル転移によりLB→DEが改善されるかを検討する。

実験結果

リサーチクエスチョン

• RQ1 LuxEmbedderフィルタ済みデータで微調整した場合、LuxMTはLB→FRおよびLB→ENでGemma 3ベースラインを上回るか？
• RQ2 DE専用の微調整なしでもクロスリンガル転移によりLB→DE翻訳が改善されるか？
• RQ3 LuxEmbedderは参照ベース指標と比較して、LB→FR、LB→EN、LB→DE全体で品質推定プロキシとしてどれほど有効か？
• RQ4 ルクセンブルク語のMT性能に対するデータフィルタ閾値と訓練エポック数の影響はどれくらいか？
• RQ5 LuciとLuxAlignデータから構築されたLBベンチマークの信頼性とドメインスコープはどの程度か？

主な発見

• LuxMTはLuciベンチマークでLB→FRおよびLB→ENにおいてGemma 3ベースラインを大幅に上回る。
• LuxMTはDEデータで微調整していなくてもLB→DEにも利得を示し、クロスリンガル転移能力を示唆する。
• LuxEmbedderは複数の参照ベース指標と高度に相関し、慎重さを要するが品質推定ツールとして可能性を示す。
• LuxEmbedderのフィルタリング閾値を高くすると（最終微調整で.98）、高等価データをより多く保持し性能が向上する。
• Gemma 3を1エポック、学習率2e-5、32k LB→FRと22.5k LB→ENのデータ混合で微調整すると強い結果が得られる。
• 温度設定の影響は一貫性がなく、1エポックの微調整が好まれた。