[论文解读] Gaussian Smoothen Semantic Features (GSSF) -- Exploring the Linguistic Aspects of Visual Captioning in Indian Languages (Bengali) Using MSCOCO Framework

Chiranjib Sur|arXiv (Cornell University)|Feb 16, 2020

Multimodal Machine Learning Applications参考文献 72被引用 4

一句话总结

本论文提出高斯平滑语义特征（GSSF）以增强孟加拉语的视觉字幕生成，该语言为印度语言，具有复杂的语法结构。通过高斯平滑稀疏语义张量，GSSF 改进了语义表征。利用 MSCOCO 数据集的翻译英文字幕和微调的 LSTM 模型，GSSF 提升了字幕质量——相比基线 LSTM 模型 BLEU-4 提升 4%，相比 GSSCN-LSTM 提升 1%，证明其在低资源、非结构化语言环境下的有效性。

ABSTRACT

In this work, we have introduced Gaussian Smoothen Semantic Features (GSSF) for Better Semantic Selection for Indian regional language-based image captioning and introduced a procedure where we used the existing translation and English crowd-sourced sentences for training. We have shown that this architecture is a promising alternative source, where there is a crunch in resources. Our main contribution of this work is the development of deep learning architectures for the Bengali language (is the fifth widely spoken language in the world) with a completely different grammar and language attributes. We have shown that these are working well for complex applications like language generation from image contexts and can diversify the representation through introducing constraints, more extensive features, and unique feature spaces. We also established that we could achieve absolute precision and diversity when we use smoothened semantic tensor with the traditional LSTM and feature decomposition networks. With better learning architecture, we succeeded in establishing an automated algorithm and assessment procedure that can help in the evaluation of competent applications without the requirement for expertise and human intervention.

研究动机与目标

• 解决印度地区语言（如孟加拉语）视觉字幕标注数据集稀缺的问题，这类语言具有与英语显著不同的复杂语法结构。
• 探索机器翻译作为低资源印度语言视觉字幕模型训练中的数据增强策略的可行性。
• 开发一种新颖的深度学习架构，通过高斯技术对稀疏语义张量进行平滑处理，以增强图像字幕的语义表征。
• 通过更优的语义特征选择与表征，提升字幕质量，尤其针对具有非线性句法结构的非结构化语言。
• 建立一种自动化、无需专家参与的评估框架，用于评估非英语、低资源语言中的图像字幕性能。

提出的方法

• 利用 Google Translate API（googletrans.Translator）将 MSCOCO 数据集中英文参考字幕转换为孟加拉语字幕，构建合成训练语料库。
• 应用高斯平滑语义特征（GSSF）以优化稀疏语义张量，通过对接收对角矩阵进行高斯平滑，将其转化为更密集、更具信息量的表征。
• 将 GSSF 集成到两种新型 LSTM 架构中：GST-LSTM（高斯平滑时序 LSTM）和 GSSCN-LSTM（高斯平滑语义卷积网络-LSTM），以增强特征学习能力。
• 采用预训练的 Stanford GloVe 词嵌入进行孟加拉语-英语映射，通过渐进式平滑提升语义一致性并减少稀疏性。
• 使用标准指标（包括 BLEU-4、BLEU-1、CIDEr-D 和 ROUGE-L）训练并评估模型，与标准 LSTM 基线模型进行性能对比。
• 对生成的字幕进行定性分析，评估其在孟加拉语中的语法正确性、语境相关性及描述丰富度。

实验结果

研究问题

• RQ1 能否有效利用机器翻译作为低资源印度语言（如孟加拉语）视觉字幕模型训练中的数据生成策略？
• RQ2 对语义张量进行高斯平滑在多大程度上提升了孟加拉语图像字幕生成的字幕质量与多样性？
• RQ3 所提出的基于 GSSF 的架构在 BLEU、CIDEr-D 和 ROUGE-L 指标上，相较于标准 LSTM 及其他特征优化方法，其性能提升程度如何？
• RQ4 GSSF 方法能否有效应对与英语显著不同的非结构化印度语言（如孟加拉语）的语法与句法复杂性？
• RQ5 与人工标注的字幕相比，该模型的定性输出在语言连贯性与语境准确性方面表现如何？

主要发现

• GST-LSTM 模型在原始生成的孟加拉语字幕上达到 BLEU-4 得分为 0.35，相比基线 LSTM（0.31）提升 4%，相比 GSSCN-LSTM（0.34）提升 1%。
• 在英文翻译的生成字幕上，GST-LSTM 达到 CIDEr-D 得分为 0.80，优于基线 LSTM（0.62）和 GSSCN-LSTM（0.78），表明其与参考字幕的对齐性更优。
• GSSF 方法通过平滑稀疏语义张量显著增强了语义表征，从而实现更丰富多样的、语境更准确的字幕生成。
• 定性分析确认，GST-LSTM 生成的字幕比基线模型更具描述性、语法正确且语境相关。
• GSSF 方法在处理孟加拉语的形态句法复杂性方面表现出鲁棒性，该语言具有大量梵语词源词汇和非线性词序。
• 本研究建立了一条可行的、自动化且低成本的低资源印度语言视觉字幕模型训练流水线，结合基于翻译的数据与语义特征平滑技术。