[論文レビュー] Hausa Visual Genome: A Dataset for Multi-Modal English to Hausa Machine Translation

Idris Abdulmumin, Satya Ranjan Dash+8 more|arXiv (Cornell University)|May 2, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

この論文は、英語から Hausa 語への機械翻訳のための、32,923組の画像・キャプションを含む大規模なマルチモーダルデータセット「Hausa Visual Genome (HaVG)」を紹介する。このデータセットは、ヒンディー語 Visual Genome からの英語記述を自動で Hausa 語に翻訳し、その後に視覚的文脈を用いた丁寧な後処理を施した結果である。これにより、低リソース言語としての Hausa 語のためのマルチリンガル NLP タスクが向上する。

ABSTRACT

Multi-modal Machine Translation (MMT) enables the use of visual information to enhance the quality of translations. The visual information can serve as a valuable piece of context information to decrease the ambiguity of input sentences. Despite the increasing popularity of such a technique, good and sizeable datasets are scarce, limiting the full extent of their potential. Hausa, a Chadic language, is a member of the Afro-Asiatic language family. It is estimated that about 100 to 150 million people speak the language, with more than 80 million indigenous speakers. This is more than any of the other Chadic languages. Despite a large number of speakers, the Hausa language is considered low-resource in natural language processing (NLP). This is due to the absence of sufficient resources to implement most NLP tasks. While some datasets exist, they are either scarce, machine-generated, or in the religious domain. Therefore, there is a need to create training and evaluation data for implementing machine learning tasks and bridging the research gap in the language. This work presents the Hausa Visual Genome (HaVG), a dataset that contains the description of an image or a section within the image in Hausa and its equivalent in English. To prepare the dataset, we started by translating the English description of the images in the Hindi Visual Genome (HVG) into Hausa automatically. Afterward, the synthetic Hausa data was carefully post-edited considering the respective images. The dataset comprises 32,923 images and their descriptions that are divided into training, development, test, and challenge test set. The Hausa Visual Genome is the first dataset of its kind and can be used for Hausa-English machine translation, multi-modal research, and image description, among various other natural language processing and generation tasks.

研究の動機と目的

• Hausa 語はアフロ・アジアアチス語族に属し、1億人以上の話者がいるが、高品質で多様性に富み、公開可能な NLP リソースが不足している現状を是正すること。
• 既存の Hausa NLP データセットはしばしば希少で、機械生成のもの、あるいは宗教的分野に限定されているという限界を克服すること。
• 視覚的文脈と言語的記述を統合することで、Hausa 語におけるマルチモーダル機械翻訳および画像キャプション生成を可能にするデータセットの提供。
• Hausa 語の NLP の研究ギャップを埋め、Hausa-英語翻訳およびマルチモーダル理解のためのベンチマークデータセットを構築すること。
• 西アフリカにおいて高い社会的言語的関連性を持つ Hausa 語の文脈に即した、強固で文脈認識型の機械翻訳およびビジョン・ランゲージモデルの開発を支援すること。

提案手法

• ヒンディー語 Visual Genome (HVG) データセットを改変し、その英語画像記述を自動機械翻訳システムを用いて Hausa 語に翻訳する。
• 対応する画像を文脈として用いて、合成された Hausa 語翻訳の手作業による後処理を実施し、誤りを是正し、言語的正確性を向上させる。
• 最終的なデータセットを4つの分割に構造化する：学習用（26,338）、開発用（3,293）、テスト用（3,293）、チャレンジ用テスト（3,000）セット。
• 翻訳が画像の内容と整合するように検証し、特に「court（裁判所 vs. サッカー場）」のような曖昧な語の解消に特に注力する。
• 単一層のLSTMデコーダーを用いた画像キャプションモデルを、交差エントロピー損失とAdam最適化法を用いて学習・評価する。
• 自動評価（BLEU）と手動評価を併用し、出力の質を評価。対象オブジェクト、関心領域、誤った内容の3つのカテゴリに分類する。

実験結果

リサーチクエスチョン

• RQ1 英語から Hausa 語への自動翻訳に続いて視覚的文脈を用いた後処理を施すことで、低リソース言語向けに高品質で文脈的に正確なマルチモーダルデータセットを構築できるか？
• RQ2 視覚的文脈は、『court』や『story』のような曖昧な英語表現の Hausa 語翻訳の正確性をどの程度向上させるか？
• RQ3 Hausa Visual Genome (HaVG) データセットは、既存の低リソース言語ベンチマークと比較して、画像キャプション生成やマルチリンガル機械翻訳タスクの支援にどの程度有効であるか？
• RQ4 BLEU などの自動評価指標は、Hausa 語の画像キャプション性能を評価する上でどのような限界を示しており、人的アノテーションのカテゴリと比較してどう異なるか？
• RQ5 HaVG は、将来的に共通タスクや Visual Question Answering (VQA) などの他のビジョン・ランゲージタスクへの応用を可能にする基盤として機能できるか？

主な発見

• Hausa Visual Genome (HaVG) データセットには、英語および Hausa 語の両方で32,923組の画像・キャプションが含まれており、学習、開発、テスト、チャレンジ評価用にバランスの取れた分割がなされている。
• 視覚的文脈を用いた手作業による後処理は翻訳品質を顕著に向上させ、『court（裁判所 vs. スポーツ場）』や『story（物語 vs. 段階）』のような曖昧さの解消に効果的であった。
• BLEU スコアを用いた自動評価では、画像キャプションモデルの性能が低かった。これは、n-gram の重複だけでは Hausa 語における意味的正確性を捉えるのに不十分であることを示している。
• 手動評価では、生成されたキャプションの68％が画像内のオブジェクトを正しく記述しており、そのうち54％が関心領域を正確に記述していた。これは、より優れた評価指標の必要性を示している。
• このデータセットは、クリエイティブ・コモンズ 表示-非営利-同一条件ライセンス 4.0 の下で自由に利用可能であり、Hausa NLP 分野におけるオープンな研究と今後の開発を促進する。
• 今後の課題として、機械翻訳に依存しない完全な人的アノテーションによる HaVG のバージョン作成、および VQA や共通タスクへのデータセットの拡張を計画している。