[论文解读] Multi-modal Capsule Routing for Actor and Action Video Segmentation Conditioned on Natural Language Queries

Bruce McIntosh, Kevin Duarte+2 more|arXiv (Cornell University)|Dec 2, 2018

Human Pose and Action Recognition参考文献 24被引用 8

一句话总结

本文提出一种端到端胶囊网络，基于自然语言查询实现视频中演员和动作的像素级定位。通过将视频和文本均编码为胶囊，并采用一种新颖的联合期望最大化（EM）路由机制进行多模态融合，该方法在自然语言监督下的视频分割任务中达到最先进性能，优于先前的单帧方法和卷积基线模型。

ABSTRACT

In this paper, we propose an end-to-end capsule network for pixel level localization of actors and actions present in a video. The localization is performed based on a natural language query through which an actor and action are specified. We propose to encode both the video as well as textual input in the form of capsules, which provide more effective representation in comparison with standard convolution based features. We introduce a novel capsule based attention mechanism for fusion of video and text capsules for text selected video segmentation. The attention mechanism is performed via joint EM routing over video and text capsules for text selected actor and action localization. The existing works on actor-action localization are mainly focused on localization in a single frame instead of the full video. Different from existing works, we propose to perform the localization on all frames of the video. To validate the potential of the proposed network for actor and action localization on all the frames of a video, we extend an existing actor-action dataset (A2D) with annotations for all the frames. The experimental evaluation demonstrates the effectiveness of the proposed capsule network for text selective actor and action localization in videos, and it also improves upon the performance of the existing state-of-the art works on single frame-based localization.

研究动机与目标

• 实现端到端的、基于自然语言查询的视频级演员与动作定位，突破单帧方法的限制。
• 通过使用胶囊而非标准卷积特征，提升视频与文本的表征学习能力。
• 开发一种新颖的多模态胶囊路由机制，有效融合视觉与文本信息以实现分割。
• 通过添加全视频标注，扩展A2D数据集，以支持时空定位的评估。
• 证明胶囊建模在跨模态视频定位任务中，相比卷积方法更能捕捉实体间关系。

提出的方法

• 使用3D-CNN主干网络从视频帧中提取胶囊，以编码时空特征。
• 将文本查询分词并使用基于Transformer的编码器嵌入为文本胶囊。
• 在视频胶囊与文本胶囊之间应用联合EM路由算法，学习类似注意力的交互作用，生成高层、解耦的表征。
• 通过基于路由的掩码机制对生成的演员胶囊进行掩码处理，以抑制无关特征并引导分割损失。
• 采用带有跳跃连接的多分辨率分割头，对胶囊特征进行上采样，以在多个尺度上生成密集的二值分割掩码。
• 网络通过组合分割损失与分类损失进行训练，消融实验表明掩码机制对性能至关重要。

实验结果

研究问题

• RQ1 胶囊网络能否有效表征并融合多模态的视频与文本输入，实现细粒度的像素级定位？
• RQ2 视频与文本胶囊之间的联合EM路由是否优于传统融合方法（如拼接或逐元素相乘）？
• RQ3 全视频端到端定位与单帧基线方法相比，在准确率与时空一致性方面表现如何？
• RQ4 掩码、分类损失和多分辨率监督等架构组件对分割性能的影响如何？
• RQ5 胶囊表征是否在视频定位任务中比卷积特征更能建模物体间关系与空间层次结构？

主要发现

• 在扩展后的、包含全视频标注的A2D数据集上，该方法达到P@0.5为52.6%、mAP为30.3%、平均IoU为46.0%的性能。
• 消融实验表明，胶囊掩码至关重要——即使在使用分类损失的情况下，移除掩码也会显著降低性能。
• 多模态胶囊路由机制优于所有基线融合方法，包括拼接（P@0.5为22.9%）和逐元素相乘（P@0.5为38.4%）。
• 胶囊网络中对姿态矩阵或激活值的动态过滤性能劣于联合EM路由，表明EM路由在跨模态对齐方面更有效。
• 采用跳跃连接与多分辨率监督的网络表现最佳，表明多尺度监督可显著提升定位精度。
• 失败案例主要源于杂乱场景中演员选择不明确，或小尺寸/远距离物体（如“ball”）导致的定位困难，表明视频胶囊质量仍存在局限。