[论文解读] BAN-Cap: A Multi-Purpose English-Bangla Image Descriptions Dataset

Mohammad Faiyaz Khan, S. M. Sadiq-Ur-Rahman Shifath+1 more|arXiv (Cornell University)|May 28, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文介绍了 BAN-Cap，这是一个大规模、高质量的英-孟加拉语图像字幕数据集，包含 8,091 幅图像和 40,455 对配对字幕，由母语标注员在严格的质量控制下创建。研究证明，结合上下文词替换（CWR）文本增强技术的自适应注意力模型在孟加拉语图像字幕任务中实现了最先进性能，同时验证了该数据集在多语言机器翻译任务中的实用性。

ABSTRACT

As computers have become efficient at understanding visual information and transforming it into a written representation, research interest in tasks like automatic image captioning has seen a significant leap over the last few years. While most of the research attention is given to the English language in a monolingual setting, resource-constrained languages like Bangla remain out of focus, predominantly due to a lack of standard datasets. Addressing this issue, we present a new dataset BAN-Cap following the widely used Flickr8k dataset, where we collect Bangla captions of the images provided by qualified annotators. Our dataset represents a wider variety of image caption styles annotated by trained people from different backgrounds. We present a quantitative and qualitative analysis of the dataset and the baseline evaluation of the recent models in Bangla image captioning. We investigate the effect of text augmentation and demonstrate that an adaptive attention-based model combined with text augmentation using Contextualized Word Replacement (CWR) outperforms all state-of-the-art models for Bangla image captioning. We also present this dataset's multipurpose nature, especially on machine translation for Bangla-English and English-Bangla. This dataset and all the models will be useful for further research.

研究动机与目标

• 为资源受限语言（如孟加拉语）解决缺乏高质量、人工标注的图像字幕数据集的问题。
• 创建一个多样化、多风格的英-孟加拉语图像字幕数据集，与 Flickr8k 相当，由母语者进行标注。
• 评估深度学习模型和数据增强技术在孟加拉语图像字幕任务中的有效性。
• 证明该数据集在图像字幕和英-孟加拉语/孟加拉语-英机器翻译任务中的多用途实用性。
• 提供公开可用的基准数据集和模型代码，以加速低资源、多语言多模态 NLP 领域的研究。

提出的方法

• 通过从 Flickr8k 数据集收集 8,091 幅图像的孟加拉语字幕，并由受过培训的母语孟加拉语和英语标注员进行标注，构建该数据集。
• 字幕经过专家团队的后期处理和验证，以确保语言质量、多样性和与图像内容的相关性。
• 使用基于 Transformer 的编码器-解码器架构，在 BAN-Cap 上微调基于自适应注意力机制的图像字幕模型。
• 通过上下文词替换（CWR）进行文本增强，以提升训练数据的多样性并增强模型泛化能力。
• 使用 BLEU、ROUGE 和 CIDEr 等标准指标评估基线模型，以评估字幕质量。
• 通过在英-孟加拉语和孟加拉语-英机器翻译任务上进行微调，进一步评估数据集在多语言迁移中的表现。

实验结果

研究问题

• RQ1 高质量、人工标注的英-孟加拉语图像字幕数据集能否提升低资源语言图像字幕生成的性能？
• RQ2 上下文词替换（CWR）作为文本增强策略，在提升孟加拉语图像字幕模型性能方面有多有效？
• RQ3 自适应注意力机制在低资源语言（如孟加拉语）的多模态字幕生成任务中是否优于标准注意力机制？
• RQ4 BAN-Cap 数据集在图像字幕任务之外，能在多大程度上被复用于多语言机器翻译任务？
• RQ5 与现有孟加拉语图像字幕数据集相比，BAN-Cap 中字幕的语言丰富度和细节程度在多样性和质量方面如何？

主要发现

• BAN-Cap 数据集包含 8,091 幅图像和 40,455 个高质量的英-孟加拉语字幕对，由母语者标注并经专家验证。
• 该数据集在字幕风格上表现出显著多样性，包括描述性、动作导向性和关系性描述，有助于提升模型泛化能力。
• 结合 CWR 文本增强技术的自适应注意力模型在孟加拉语图像字幕任务中实现了最先进性能，优于所有先前模型。
• CWR 增强方法提升了模型鲁棒性，并生成了更准确、更具上下文相关性的字幕。
• 该数据集在英-孟加拉语和孟加拉语-英机器翻译任务中均表现出色，证实了其多用途实用性。
• 作者公开发布了数据集和代码，支持可复现性，并推动低资源、多语言多模态 NLP 领域的未来研究。