[论文解读] Long-term Recurrent Convolutional Networks for Visual Recognition and Description

Jeff Donahue, Lisa Anne Hendricks+5 more|arXiv (Cornell University)|Nov 17, 2014

Multimodal Machine Learning Applications被引用 11

一句话总结

本文提出长短期循环卷积网络（LRCNs），一种深度学习架构，结合卷积神经网络（CNNs）进行空间特征提取与循环神经网络（LSTMs）进行时间建模，实现视觉识别与描述任务的端到端训练。该模型在视频动作识别、图像字幕生成和视频描述任务中达到最先进性能，通过联合学习视觉表征与时间动态，优于使用固定视觉特征或简单时间池化的模型。

ABSTRACT

Models based on deep convolutional networks have dominated recent image interpretation tasks; we investigate whether models which are also recurrent, or "temporally deep", are effective for tasks involving sequences, visual and otherwise. We develop a novel recurrent convolutional architecture suitable for large-scale visual learning which is end-to-end trainable, and demonstrate the value of these models on benchmark video recognition tasks, image description and retrieval problems, and video narration challenges. In contrast to current models which assume a fixed spatio-temporal receptive field or simple temporal averaging for sequential processing, recurrent convolutional models are "doubly deep"' in that they can be compositional in spatial and temporal "layers". Such models may have advantages when target concepts are complex and/or training data are limited. Learning long-term dependencies is possible when nonlinearities are incorporated into the network state updates. Long-term RNN models are appealing in that they directly can map variable-length inputs (e.g., video frames) to variable length outputs (e.g., natural language text) and can model complex temporal dynamics; yet they can be optimized with backpropagation. Our recurrent long-term models are directly connected to modern visual convnet models and can be jointly trained to simultaneously learn temporal dynamics and convolutional perceptual representations. Our results show such models have distinct advantages over state-of-the-art models for recognition or generation which are separately defined and/or optimized.

研究动机与目标

• 开发统一的深度学习框架，联合学习空间与时间表征，用于视觉序列建模。
• 解决在视频与图像描述任务中固定视觉表征与简单时间平均方法的局限性。
• 实现对可变长度输入（如视频）与可变长度输出（如自然语言描述）的端到端训练。
• 利用具有门控机制的LSTM，提升视觉序列中的长期时间依赖学习能力。
• 在多样化的视觉任务中展示LRCNs的有效性，包括动作识别、图像字幕生成与视频描述。

提出的方法

• 该模型使用CNN从视频或图像的每一帧中提取空间特征，生成高层视觉表征序列。
• 这些视觉特征被输入到堆叠的长短期记忆（LSTM）单元中，以建模时间依赖关系并学习序列动态。
• 整个架构支持端到端训练，时间维度共享权重，可扩展至任意长度的序列。
• 在图像字幕生成任务中，模型采用编码器-解码器结构：CNN负责图像编码，LSTM解码器逐词生成自然语言描述。
• 推理阶段采用束搜索（beam search）生成可能性最高的句子描述。
• 在视频描述任务中，模型通过CNN-LSTM流水线处理帧序列，实现生成连贯且富含上下文信息的描述。

实验结果

研究问题

• RQ1 与使用固定视觉特征的模型相比，是否可通过与CNN联合训练的循环架构提升视频动作识别性能？
• RQ2 端到端可训练的LRCN模型是否能直接从图像像素生成高质量、连贯的句子描述，而无需预提取特征？
• RQ3 在视觉描述任务中，使用LSTM进行时间建模与简单时间平均或固定表征方法相比，表现如何？
• RQ4 LRCNs在大规模数据集上训练时，能在多大程度上学习视觉序列中的长期依赖关系？
• RQ5 LRCN架构能否有效适应多模态任务，如视觉定位与基于自然语言的对象检索？

主要发现

• 通过LSTM建模时间动态，LRCN模型在标准视频动作识别基准上实现显著性能提升，优于使用固定视觉表征的模型。
• 通过端到端训练直接将图像像素映射到自然语言描述，LRCN模型在图像字幕生成任务中达到最先进性能。
• 在视频描述任务中，LRCN模型优于对帧间CNN特征进行池化的模型，能更好地保留时间结构并提升描述质量。
• LSTM的使用使视觉序列中的长期依赖关系得到有效学习，尤其在具有复杂时间动态的任务中表现更优。
• 视觉与时间表征的联合优化使模型泛化能力更强，输出更连贯，优于对视觉与序列组件分别优化的方法。
• 消融实验确认，将循环建模与CNN结合是性能提升的关键，尤其在需要序列推理的任务中更为显著。