[論文レビュー] Congolese Swahili Machine Translation for Humanitarian Response

Alp Öktem, Eric DeLuca+3 more|arXiv (Cornell University)|Mar 19, 2021

Natural Language Processing Techniques参考文献 19被引用数 5

ひとこと要約

本稿では、コンゴ・スワヒリ語（SWC）からフランス語（FRA）およびその逆方向への双方向的ニューラル機械翻訳システムを提示する。このシステムは、25,302文の手作業で整備された並列コーパスと、クロスダイアレクト転送および半教師付き学習を用いた合成データを活用している。モデルは最大3.5 BLEUポイントの向上を達成し、人道的状況における実用性を示しており、人間による評価では、コンゴ民主共和国（DRC）のCOVID-19チャットボット文脈において75%の翻訳が主なメッセージを正しく伝えていることが確認された。

ABSTRACT

In this paper we describe our efforts to make a bidirectional Congolese Swahili (SWC) to French (FRA) neural machine translation system with the motivation of improving humanitarian translation workflows. For training, we created a 25,302-sentence general domain parallel corpus and combined it with publicly available data. Experimenting with low-resource methodologies like cross-dialect transfer and semi-supervised learning, we recorded improvements of up to 2.4 and 3.5 BLEU points in the SWC-FRA and FRA-SWC directions, respectively. We performed human evaluations to assess the usability of our models in a COVID-domain chatbot that operates in the Democratic Republic of Congo (DRC). Direct assessment in the SWC-FRA direction demonstrated an average quality ranking of 6.3 out of 10 with 75% of the target strings conveying the main message of the source text. For the FRA-SWC direction, our preliminary tests on post-editing assessment showed its potential usefulness for machine-assisted translation. We make our models, datasets containing up to 1 million sentences, our development pipeline, and a translator web-app available for public use.

研究の動機と目的

• コンゴスワヒリ語（スワヒリ語の低リソース方言で、フランス語およびリンガラに強い影響を受ける）の機械翻訳リソースの不足に対処すること。
• コンゴ民主共和国（DRC）の人道的通信に特化した、双方向的ニューラル機械翻訳システム（SWC–FRAおよびFRA–SWC）の開発。
• 限られた並列データのもとで翻訳品質を向上させるために、クロスダイアレクト転送や半教師付き学習などの低リソースNLP技術を検討すること。
• 特にDRCを拠点とするCOVID-19チャットボットを含む現実の人道的ワークフローにおいて、モデルの実用的有用性を評価すること。
• 今後の研究および人道的翻訳を支援するため、オープンソースのモデル、データセット（最大100万文）、およびWebベースの翻訳ツールを公開すること。

提案手法

• 人間翻訳によるコンゴスワヒリ語とフランス語のペアで構成される、25,302文の一般ドメイン並列コーパスを整備・クリーニングした。
• 整備済みデータセットに、JW300コレクションを含む公開済みの並列データを組み合わせ、トレーニングデータの多様性と規模を拡大した。
• 他のスワヒリ方言との類似性を活用するため、事前学習済みマルチリンガルモデルをSWC–FRAおよびFRA–SWCタスクに微調整することで、クロスダイアレクト転送学習を適用した。
• モノリンガルデータから合成並列文を生成する半教師付き学習技術を用い、有効なトレーニングデータ量を増加させた。
• Transformerアーキテクチャを用いたニューラル機械翻訳モデルを訓練し、自動評価（BLEU）および人間評価指標の両方を最適化した。
• Webベースの翻訳アプリケーションを開発・デプロイし、http://gamayun.translatorswb.org/ でリアルタイム推論とコミュニティからのフィードバックを可能にした。

実験結果

リサーチクエスチョン

• RQ1 限られたトレーニングデータのもとで、クロスダイアレクト転送学習が低リソースのコンゴスワヒリ語翻訳パフォーマンスを向上させることができるか？
• RQ2 限られた並列データのもとで、半教師付き学習はSWC–FRAおよびFRA–SWC方向の翻訳品質をどの程度向上させるか？
• RQ3 DRCを拠点とするCOVID-19チャットボットのような現実の人道的応用において、得られたNMTモデルが元のテキストの主なメッセージをどの程度正確に保持しているか？
• RQ4 特にメッセージの明確さと完全性の観点から、実際の翻訳ワークフローにおけるモデルの人間による評価された有用性はいかがなものか？
• RQ5 モデル、データセット、開発パイプラインをオープンソース化することで、未対応言語向けの持続可能なNLP研究および人道的技術の発展を促進できるか？

主な発見

• クロスダイアレクト転送学習と半教師付き学習の活用により、SWC–FRA方向で最大2.4ポイント、FRA–SWC方向で最大3.5ポイントのBLEUスコア向上が達成された。
• SWC–FRAモデルの人間評価では平均6.3点（満点10点）の品質スコアが得られ、翻訳の75%が元のテキストの主なメッセージを正しく伝えていることが確認された。
• 翻訳の修正評価において、FRA–SWCモデルは機械支援翻訳ワークフローでの利用に適している可能性を示しており、人道的翻訳パイプラインにおける有用性が示唆された。
• 最終評価は71件の実際のユーザーが提出したCOVID-19関連質問に基づき、品質スコアの標準偏差が3.0であったため、翻訳品質に中程度の有意なばらつきがあるものの、意味のある変動が確認された。
• 本研究では、25,302文のクリーニング済み人間翻訳文と928,065件の合成並列文からなるデータセットを構築・公開し、トレーニング済みモデルと公開用Webアプリケーションも提供した。
• 開発パイプラインとテストセットはGitHub上で公開されており、研究の再現性および今後の研究拡張が可能である。