[論文レビュー] English-Catalan Neural Machine Translation in the Biomedical Domain through the cascade approach

Marta R. Costa‐jussà, Noé Casas+1 more|arXiv (Cornell University)|Mar 19, 2018

Natural Language Processing Techniques参考文献 17被引用数 5

ひとこと要約

本稿では、英語-スペイン語およびスペイン語-カタロニア語のニューラル機械翻訳（NMT）システムを用いた段階的ピボット手法を提案し、低リソースな英語-カタロニア語生物医学翻訳タスクに対処する。変換器アーキテクチャと新たに作成された英語-カタロニア語生物医学テストセットを活用することで、BLEUスコア41.38を達成し、低リソースな生物医学的文脈におけるピボットベースNMTの有効性を示している。

ABSTRACT

This paper describes the methodology followed to build a neural machine translation system in the biomedical domain for the English-Catalan language pair. This task can be considered a low-resourced task from the point of view of the domain and the language pair. To face this task, this paper reports experiments on a cascade pivot strategy through Spanish for the neural machine translation using the English-Spanish SCIELO and Spanish-Catalan El Periódico database. To test the final performance of the system, we have created a new test data set for English-Catalan in the biomedical domain which is freely available on request.

研究の動機と目的

• 生物医学分野における低リソースな英語-カタロニア語ニューラル機械翻訳の課題に対処すること。
• 中間言語としてスペイン語を用いた段階的ピボット戦略の有効性を評価すること。
• 評価のための新しい高品質な英語-カタロニア語生物医学テストセットの開発と公開すること。
• 変換器アーキテクチャがピボット手法を介して低リソースな生物医学翻訳タスクで強力なパフォーマンスを達成できることを示すこと。
• 未活用言語対における将来の生物医学NMT研究のためのベースラインを提供すること。

提案手法

• システムは段階的ピボット戦略を採用：まず事前学習済みの変換器モデルを用いて英語からスペイン語に翻訳し、次にスペイン語からカタロニア語に翻訳する。
• 英語-スペイン語モデルは、2050万セグメントを含むSCIELO生物医学並列コーパスで学習された。
• スペイン語-カタロニア語モデルは、650万セグメントを含むEl Periódicoニュースコーパスで学習された。
• 最終的な英語-カタロニア語翻訳は、2つのモデルの出力を段階的に連結することで得られる。
• テキスト前処理にはトークン化、文フィルタリング（1〜50語）、およびFreelingを用いた英語およびスペイン語における代名詞とクレストスの特別な処理が含まれる。
• 新しい英語-カタロニア語テストセットは、まずWMT 2016スペイン語生物医学テストセットを自動翻訳してカタロニア語に変換し、その後プロフェッショナルな後処理を施した。

実験結果

リサーチクエスチョン

• RQ1 限られた並列データがあるにもかかわらず、生物医学分野における英語-カタロニア語ニューラル機械翻訳のパフォーマンスを段階的ピボット戦略が効果的に改善できるか？
• RQ2 低リソース環境下で、段階的NMTシステムのパフォーマンスは直接翻訳システムと比べてどの程度優れているか？
• RQ3 変換器アーキテクチャが生物医学的テキストにおける効果的なピボットベース翻訳をどの程度支援できるか？
• RQ4 信頼性のある評価のため、高品質でドメイン特化型の英語-カタロニア語テストセットを構築できるか？
• RQ5 ピボットベース手法は、未活用言語対における将来の非教師ありまたはマルチリンガルNMTアプローチのベースラインとして、どの程度の可能性を秘めているか？

主な発見

• 英語→スペイン語NMTシステムは、WMT 2016生物医学テストセットでBLEUスコア46.55を達成した。
• スペイン語→カタロニア語NMTシステムは、El PeriódicoテストセットでBLEUスコア86.89を達成した。
• 段階的英語→スペイン語→カタロニア語システムは、新たに作成された英語-カタロニア語生物医学テストセットでBLEUスコア41.38を達成した。
• BLEUスコアは、Mosesツールキットのmteval-v14.plと同等のt2t-bleuスクリプトを用いて計算された。
• 本研究では、将来的な研究のための自由に利用可能な英語-カタロニア語生物医学テストセットを提供した。
• 結果から、変換器アーキテクチャを用いたピボットベースNMTが、低リソースな生物医学翻訳タスクにおいて実用的であることが確認された。