[论文解读] Hausa Visual Genome: A Dataset for Multi-Modal English to Hausa Machine Translation

Idris Abdulmumin, Satya Ranjan Dash+8 more|arXiv (Cornell University)|May 2, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文介紹了豪薩語視覺圖譜（HaVG），這是首個針對英語到豪薩語機器翻譯的大規模多模態數據集，包含32,923對英豪雙語圖像描述。該數據集通過自動將印地語視覺圖譜中的英語描述翻譯為豪薩語，再結合視覺上下文進行仔細的後續編輯而成，從而提升低資源豪薩語應用的多語言自然語言處理任務。

ABSTRACT

Multi-modal Machine Translation (MMT) enables the use of visual information to enhance the quality of translations. The visual information can serve as a valuable piece of context information to decrease the ambiguity of input sentences. Despite the increasing popularity of such a technique, good and sizeable datasets are scarce, limiting the full extent of their potential. Hausa, a Chadic language, is a member of the Afro-Asiatic language family. It is estimated that about 100 to 150 million people speak the language, with more than 80 million indigenous speakers. This is more than any of the other Chadic languages. Despite a large number of speakers, the Hausa language is considered low-resource in natural language processing (NLP). This is due to the absence of sufficient resources to implement most NLP tasks. While some datasets exist, they are either scarce, machine-generated, or in the religious domain. Therefore, there is a need to create training and evaluation data for implementing machine learning tasks and bridging the research gap in the language. This work presents the Hausa Visual Genome (HaVG), a dataset that contains the description of an image or a section within the image in Hausa and its equivalent in English. To prepare the dataset, we started by translating the English description of the images in the Hindi Visual Genome (HVG) into Hausa automatically. Afterward, the synthetic Hausa data was carefully post-edited considering the respective images. The dataset comprises 32,923 images and their descriptions that are divided into training, development, test, and challenge test set. The Hausa Visual Genome is the first dataset of its kind and can be used for Hausa-English machine translation, multi-modal research, and image description, among various other natural language processing and generation tasks.

研究动机与目标

• 解決豪薩語——一種擁有超過一億名使用者的低資源閃米特-亞非語系語言——高品質、多樣化且公開可用的自然語言處理資源稀缺的問題。
• 克服現有豪薩語自然語言處理數據集的局限，這些數據集通常稀少、由機器生成，或僅限於宗教領域。
• 透過提供融合視覺上下文與語言描述的數據集，實現豪薩語的多模態機器翻譯與圖像描述。
• 透過建立豪薩語-英語翻譯與多模態理解的基準數據集，彌補低資源語言自然語言處理的研究缺口。
• 支援發展強健且具上下文感知能力的豪薩語機器翻譯與視覺-語言模型，該語言在西非具有高度社會語言學重要性。

提出的方法

• 透過使用自動機器翻譯系統，將印地語視覺圖譜（HVG）數據集中的英語圖像描述翻譯為豪薩語，以適應該數據集。
• 利用對應的圖像作為上下文，對合成的豪薩語翻譯進行人工後續編輯，以修正錯誤並提升語言準確性。
• 將最終數據集分為四個部分：訓練集（26,338）、開發集（3,293）、測試集（3,293）與挑戰測試集（3,000）。
• 透過對照圖像內容驗證翻譯的語言與視覺一致性，特別是解決如「court」（法院 vs. 網球場）等模糊性問題。
• 使用該數據集訓練並評估基於單層LSTM解碼器、交叉熵損失與Adam優化方法的圖像描述模型。
• 進行自動評估（BLEU）與人工評估，以評估描述品質，並根據對象關注點、區域關注點或錯誤內容對輸出進行分類。

实验结果

研究问题

• RQ1 是否能透過自動將英語圖像描述翻譯為豪薩語，再結合視覺後續編輯，為低資源語言生成高品質、上下文準確的多模態數據集？
• RQ2 視覺上下文在多大程度上能提升豪薩語翻譯對模糊英語短語（如「court」或「story」）的準確性？
• RQ3 豪薩語視覺圖譜（HaVG）數據集在支援圖像描述與多語言機器翻譯任務方面，相較於現有的低資源語言基準，效果如何？
• RQ4 自動評估指標（如BLEU）在評估豪薩語圖像描述表現時存在哪些限制？與人工標註分類相比，其表現如何？
• RQ5 HaVG是否可作為未來共用任務與其他視覺-語言任務（如豪薩語視覺問題回應，VQA）延伸的基礎？

主要发现

• 豪薩語視覺圖譜（HaVG）數據集包含32,923對英豪雙語圖像-描述，訓練、開發、測試與挑戰評估的分割比例均衡。
• 結合視覺上下文的人工後續編輯顯著提升了翻譯品質，成功解決了如「court」（法律法庭 vs. 運動場）與「story」（敘事 vs. 樓層）等模糊性問題。
• 使用BLEU指標的自動評估顯示圖像描述模型表現不佳，表明n-gram重疊不足以捕捉豪薩語中的語義準確性。
• 人工評估顯示，68%的生成描述正確描述了圖像中的物件，其中54%準確描述了關注區域，突顯了改進評估指標的必要性。
• 該數據集以創用CC 姓名標示-非商業性-相同方式分享 4.0 國際授權條款公開提供，促進豪薩語自然語言處理的開放研究與未來發展。
• 未來工作包括建立完全由人工標註的HaVG版本，不再依賴機器翻譯，並擴展數據集以適用於視覺問題回應（VQA）與共用任務。