[論文レビュー] Tower: An Open Multilingual Large Language Model for Translation-Related Tasks
Towerは翻訳ワークフローに特化したオープンな多言語LLMで、継続的事前学習と指示微調整を通じて構築され、オープンな競合を上回り、クローズドモデルの性能に近づいており、公開リソースを提供している。
While general-purpose large language models (LLMs) demonstrate proficiency on multiple tasks within the domain of translation, approaches based on open LLMs are competitive only when specializing on a single task. In this paper, we propose a recipe for tailoring LLMs to multiple tasks present in translation workflows. We perform continued pretraining on a multilingual mixture of monolingual and parallel data, creating TowerBase, followed by finetuning on instructions relevant for translation processes, creating TowerInstruct. Our final model surpasses open alternatives on several tasks relevant to translation workflows and is competitive with general-purpose closed LLMs. To facilitate future research, we release the Tower models, our specialization dataset, an evaluation framework for LLMs focusing on the translation ecosystem, and a collection of model generations, including ours, on our benchmark.
研究の動機と目的
- 翻訳ワークフローに特化したオープンなLLMが必要であることを動機づける。
- 翻訳のためにLLMを適応させるための2段階の訓練手順を開発する：多言語データでの継続的事前学習（TowerBase）と指示微調整（TowerInstruct）。
- 得られたモデルを翻訳関連のタスクやワークフローで、オープンおよびクローズドのベースラインと比較して評価する。
- 将来の研究を促進するため、モデル・データセット・評価フレームワークなどのリソースを公開する。
提案手法
- TowerBaseを得るために、単言語データと並列データを混在させた多言語データで継続的事前学習を実施する。
- 翻訳に関連する指示でTowerBaseを微調整してTowerInstructを得る。
- 翻訳関連のタスクとワークフローで、TowerBaseとTowerInstructをオープンおよびクローズドモデルと比較して評価する。
- 特化データセット、評価フレームワーク、およびベンチマーク用のモデル生成物を公開する。
実験結果
リサーチクエスチョン
- RQ1多言語データでの継続的事前学習は、翻訳関連タスクのためのオープンLLMを改善できるか？
- RQ2翻訳ワークフローに対する指示ベースの微調整は、基本的な事前学習を超えた性能向上をもたらすか？
- RQ3Towerモデルは、翻訳タスクとワークフローにおいて、オープンLLMおよびクローズド汎用LLMとどう比較されるか？
- RQ4翻訳重視のLLMの研究を最も促進するリソース（データセット、評価フレームワーク）は何か？
主な発見
- TowerBaseとTowerInstructは、いくつかの翻訳ワークフロータスクでオープンな代替案を上回る。
- Towerモデルは汎用のクローズドLLMと競争力の性能を発揮する。
- 著者らは再現性を支援するため、モデル、特化データセット、評価フレームワーク、および例生成を公開する。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。