[论文解读] DeepDiary: Automatic Caption Generation for Lifelogging Image Streams

Chenyou Fan, David Crandall|arXiv (Cornell University)|Aug 12, 2016

Multimodal Machine Learning Applications参考文献 46被引用 4

一句话总结

本文提出 DeepDiary，一种基于深度学习的框架，通过利用时间一致性来提升准确率并减少噪声，为可穿戴相机的活动日志图像流生成自然语言描述。实验表明，自动图像描述可有效支持私密内容的图像检索，其性能与无需微调的监督分类器相当。

ABSTRACT

Lifelogging cameras capture everyday life from a first-person perspective, but generate so much data that it is hard for users to browse and organize their image collections effectively. In this paper, we propose to use automatic image captioning algorithms to generate textual representations of these collections. We develop and explore novel techniques based on deep learning to generate captions for both individual images and image streams, using temporal consistency constraints to create summaries that are both more compact and less noisy. We evaluate our techniques with quantitative and qualitative results, and apply captioning to an image retrieval application for finding potentially private images. Our results suggest that our automatic captioning algorithms, while imperfect, may work well enough to help users manage lifelogging photo collections.

研究动机与目标

• 解决可穿戴相机产生的海量冗余活动日志照片集合的组织难题。
• 探索自动图像描述作为总结和标注第一人称视觉数据的解决方案。
• 通过建模图像流中的时间一致性，提升描述质量与多样性。
• 利用生成的描述实现基于关键词的私密内容图像检索（例如：浴室、屏幕等）。
• 在新收集的、具有真实场景特征的活动日志数据集上评估该方法，该数据集包含人工标注的参考句子。

提出的方法

• 开发基于深度学习的图像描述模型，使用在自定义数据集上微调的 AlexNet 提取特征，对第一人称图像进行训练。
• 提出一种新颖策略，以鼓励描述中出现多样的句式与视角，增强描述的丰富性。
• 采用马尔可夫随机场（MRF）模型对时间上连续的图像流进行联合描述生成，以强制实现时间一致性。
• 利用 MRF 框架在图像序列上联合估计描述，降低噪声并提升连贯性。
• 在每张图像生成的前五条描述上应用关键词搜索，以检测敏感内容（例如：'bathroom'、'laptop'），无需为每类内容重新训练模型。
• 收集并标注了一个真实世界中的活动日志数据集，包含 34,736 张非敏感图像、6,135 张敏感场所图像和 4,379 张含显示内容的图像，用于评估。

实验结果

研究问题

• RQ1 基于深度学习的图像描述能否为第一人称活动日志图像生成有意义且多样的描述？这些图像通常存在噪声且构图不佳。
• RQ2 与单独图像描述相比，建模图像流之间的时间一致性是否能提升描述质量并减少错误？
• RQ3 自动生成的描述能否在不为每类内容显式微调的情况下，有效支持敏感图像（如浴室或屏幕）的检索？
• RQ4 与在相同任务上训练的监督卷积神经网络（CNN）分类器相比，基于描述的敏感图像检测性能如何？
• RQ5 对图像流进行联合描述在多大程度上能生成更紧凑、更连贯且更有用的日常活动文本摘要？

主要发现

• 基于描述的方法在 80% 召回率下实现了 78% 的精确率，用于检索含数字显示的敏感图像（如屏幕、笔记本电脑），优于监督 CNN 基线模型（精确率为 65.7%）。
• 对于检测敏感场所（如浴室），监督 CNN 实现了 81.1% 的召回率，略高于基于描述的方法（79.2%），但后者无需为每类内容重新训练。
• 在综合二分类任务（敏感 vs. 非敏感）中，基于描述的方法在 80% 召回率下实现了 78% 的精确率，展现出强大的实际应用潜力。
• 基于 MRF 的联合描述模型通过利用时间相邻多张图像的证据，降低了噪声并提升了描述连贯性。
• 该方法实现了在生成描述中有效进行关键词搜索，以识别潜在私密图像，为每类检测器单独训练提供了可扩展的替代方案。
• 定量与定性评估表明，尽管自动描述存在不足，但其准确性已足够支持照片组织与隐私过滤等实际应用。