[论文解读] Image Captioning and Classification of Dangerous Situations

Octavio Arriaga, Paul G. Plöger+1 more|arXiv (Cornell University)|Nov 7, 2017

Multimodal Machine Learning Applications参考文献 10被引用 4

一句话总结

本文提出了一种新颖的深度学习框架，结合图像字幕生成与异常检测，仅使用单张图像输入即可识别危险情境。该框架采用CNN-LSTM-MLP架构，在新构建的1,008张带字幕图像数据集上进行训练，实现97%的分类准确率和16.2的METEOR得分，使机器人能够以自然语言描述异常情况，从而在医疗保健和巡逻等实际应用中提升情境感知能力。

ABSTRACT

Current robot platforms are being employed to collaborate with humans in a wide range of domestic and industrial tasks. These environments require autonomous systems that are able to classify and communicate anomalous situations such as fires, injured persons, car accidents; or generally, any potentially dangerous situation for humans. In this paper we introduce an anomaly detection dataset for the purpose of robot applications as well as the design and implementation of a deep learning architecture that classifies and describes dangerous situations using only a single image as input. We report a classification accuracy of 97 % and METEOR score of 16.2. We will make the dataset publicly available after this paper is accepted.

研究动机与目标

• 解决机器人应用中缺乏公开可用的真实世界数据集，用于检测危险情境的问题。
• 开发一种统一的深度学习架构，仅通过单张输入图像即可对图像中的异常进行分类与描述。
• 通过生成异常的自然语言描述，而非仅依赖二元或多元分类标签，提升机器人的情境感知能力。
• 证明完整的文本描述相较于简单分类标签能提供更具可操作性的信息。

提出的方法

• 该模型采用联合的CNN-LSTM-MLP架构，其中预训练的GoogLeNet网络从倒数第二层提取图像特征，生成2048维向量。
• 这些图像特征被输入到长短期记忆（LSTM）网络中，以生成自然语言的词序列，形成描述性字幕。
• 语言模型通过端到端训练，使用交叉熵损失和随机梯度下降，以最大化给定输入图像的正确字幕出现的概率。
• 训练数据集由1,008张来自真实场景的带字幕图像组成，涵盖八类危险情境：碎裂的窗户、受伤人员、打斗、爆炸、车祸、火灾事故、枪支以及家庭暴力。
• 通过结合IAPR-2012数据集与新引入的异常检测（AD）数据集，对模型进行微调，以提升泛化能力与性能表现。
• 实证探索了软目标表示策略，以提升METEOR得分，结果表明：将概率质量分配给同义词可能优于在字幕生成任务中使用硬性独热编码。

实验结果

研究问题

• RQ1 单一深度学习模型是否能仅通过视觉输入有效实现图像中危险情境的分类与描述？
• RQ2 生成异常的完整自然语言描述是否比简单分类标签提供更具可操作性的信息？
• RQ3 目标表示的选择（如独热编码与软嵌入）如何影响图像字幕模型的性能，特别是在METEOR得分方面的表现？
• RQ4 在多样化的现实世界异常数据集上进行训练的统一架构，是否能泛化于多种危险场景，如火灾、伤害与暴力事件？

主要发现

• 所提出的模型在异常检测任务上实现了97%的分类准确率，表明其能从单张图像中有效识别危险情境。
• 模型获得16.2的METEOR得分，表明生成字幕与参考字幕之间具有合理的语义相似度。
• 生成的字幕如“一个男人正拿着枪”和“地上有位女性身上有血”展示了模型生成语义丰富且上下文相关的描述能力。
• 与简单分类模型相比，该模型不仅能捕捉异常的存在，还能描述事件的性质，例如“一个男人正在掐另一个男人”，从而传达关键的行为上下文。
• 实证结果表明，METEOR得分在验证损失与准确率达到最低值后数个训练周期才达到峰值，表明优化目标与人类对齐的评估指标之间存在脱节。
• 研究识别出一条潜在改进路径：使用软目标表示（如词嵌入或同义词分布）可更好地与METEOR指标的同义词匹配机制对齐。