[論文レビュー] ONTS: "Optima" News Translation System

Marco Turchi, Martin Atkinson+5 more|arXiv (Cornell University)|Jan 13, 2014

Natural Language Processing Techniques参考文献 20被引用数 12

ひとこと要約

ONTS は、11 言語（例：アラビア語、フランス語、トルコ語）から英語へのライブニュース記事翻訳を、Moses を基盤にしたリアルタイムで社内構築された機械翻訳システムであり、速度とニュース固有の特徴を最適化している。翻訳の質を向上させるために、事前に記事をカテゴリ別に分類し、専用の固有表現リポジトリを活用し、見出しを別々に翻訳し、言語固有の前処理を適用することで、ポーランド語 や ポルトガル語 といったリソースが限られる言語においても Google Translate より優れた性能を達成している。

ABSTRACT

We propose a real-time machine translation system that allows users to select a news category and to translate the related live news articles from Arabic, Czech, Danish, Farsi, French, German, Italian, Polish, Portuguese, Spanish and Turkish into English. The Moses-based system was optimised for the news domain and differs from other available systems in four ways: (1) News items are automatically categorised on the source side, before translation; (2) Named entity translation is optimised by recognising and extracting them on the source side and by re-inserting their translation in the target language, making use of a separate entity repository; (3) News titles are translated with a separate translation system which is optimised for the specific style of news titles; (4) The system was optimised for speed in order to cope with the large volume of daily news articles.

研究の動機と目的

• 第三者のデータ漏洩を回避しつつ、多言語ニュースのリアルタイム翻訳を可能にする、プライベートで社内構築された機械翻訳システムの開発。
• ドキュメント構造とドメイン固有リソースを活用することで、ニュース記事の翻訳品質と効率を向上させる。
• 完全な文語的正確性よりも、要約的な翻訳（「gist」翻訳）を提供することで、ユーザーが記事の関連性を素早く評価できるように支援する。
• 利用制限やユーザー データの露出がある商用サービス（例：Google Translate）への依存を減らす。
• 欧州メディアモニタリング（Europe Media Monitor）パイプラインに統合し、大規模かつ毎日のニュース処理を可能にする。

提案手法

• システムはモジュラーなパイプラインを採用：ニュース記事は、言語固有のトークン化、小文字変換、合成語の分割によって事前に処理された後、翻訳が実行される。
• 固有表現は、言語に依存しないルールを用いてソース側で抽出され、多言語対応の固有表現リポジトリと照合され、一貫性のある翻訳が保証される。
• 見出し専用に別々の翻訳モデルをトレーニングし、ヘッドライン風の簡潔さを最適化した翻訳が実現される。
• マルチスレッド対応の Moses サーバーに KenLM を組み合わせ、最大日10万件の記事処理が可能な高速処理が実現される。
• カスタム Java サーブレットが RSS 入力を処理し、適切な言語モデルに記事をルーティングし、後処理（デトークン化、キャピタル化の復元、未知語のログ記録）を管理する。
• アーキテクチャは将来的に複数マシンへの分散をサポートしており、スケーラビリティとパフォーマンスの向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムで社内構築された機械翻訳システムを、ユーザー データのプライバシーを守りながらニュースドメインに最適化する方法は何か？
• RQ2 固有表現および見出しを別々に前処理することで、多言語ニュース翻訳における翻訳品質がどの程度向上するか？
• RQ3 Moses などのオープンソース SMT ツールを基盤にしたシステムが、限られたトレーニングデータと計算リソースで競争力のある性能を達成できるか？
• RQ4 言語固有の前処理とモジュラーなアーキテクチャの統合が、翻訳速度とスケーラビリティに与える影響は何か？
• RQ5 ニューススタイルや固有表現処理といったドメイン固有の適応が、一般向けサービスと比較して翻訳パフォーマンスに与える影響は何か？

主な発見

• ポーランド語（0.568 対 0.511 BLEU）およびポルトガル語（0.579 対 0.424 BLEU）において、ONTS は Google Translate を上回り、ドメイン固有の最適化効果が顕著に現れている。
• アラビア語およびペルシャ語では、固有表現の処理により翻訳カバレッジと品質が顕著に向上し、各英語固有表現の参照がソース側の認識精度を向上させている。
• トルコ語の翻訳パフォーマンスは依然として低い（0.238 BLEU）と推定され、高い屈曲的複雑性とニュースドメインにおけるトレーニングデータの不足が要因と考えられる。
• システムはリアルタイム処理を達成しており、2台のクアッドコアサーバー（合計 48GB メモリ）で 1 日に最大 10 万件の記事を 11 言語で処理可能である。
• 翻訳時間は文字単位で報告されており、インターフェースでは 1 文字あたりのミリ秒単位で表示され、処理効率の評価が可能である。
• システムは http://optima.jrc.it/Translate/ でデモ公開されており、固有表現処理、キャピタル化、未知語報告のモジュールをカスタマイズ可能である。