[论文解读] Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding

Daizong Liu, Xiang Fang+2 more|arXiv (Cornell University)|Mar 6, 2022

Human Pose and Action Recognition被引用 4

一句话总结

该论文提出 MA3SRN，一种用于时序句子定位的新型 3D 语义推理网络，通过运动-外观关联模块整合基于光流引导的运动感知、基于检测的外观感知和 3D 感知物体特征。该模型在 ActivityNet Caption、Charades-STA 和 TACoS 上实现了最先进性能，其中在 Charades-STA 上的 R@1（IoU=0.7）和 R@5（IoU=0.7）分别提升了 45.63% 和 73.86%。

ABSTRACT

Temporal sentence grounding aims to localize a target segment in an untrimmed video semantically according to a given sentence query. Most previous works focus on learning frame-level features of each whole frame in the entire video, and directly match them with the textual information. Such frame-level feature extraction leads to the obstacles of these methods in distinguishing ambiguous video frames with complicated contents and subtle appearance differences, thus limiting their performance. In order to differentiate fine-grained appearance similarities among consecutive frames, some state-of-the-art methods additionally employ a detection model like Faster R-CNN to obtain detailed object-level features in each frame for filtering out the redundant background contents. However, these methods suffer from missing motion analysis since the object detection module in Faster R-CNN lacks temporal modeling. To alleviate the above limitations, in this paper, we propose a novel Motion- and Appearance-guided 3D Semantic Reasoning Network (MA3SRN), which incorporates optical-flow-guided motion-aware, detection-based appearance-aware, and 3D-aware object-level features to better reason the spatial-temporal object relations for accurately modelling the activity among consecutive frames. Specifically, we first develop three individual branches for motion, appearance, and 3D encoding separately to learn fine-grained motion-guided, appearance-guided, and 3D-aware object features, respectively. Then, both motion and appearance information from corresponding branches are associated to enhance the 3D-aware features for the final precise grounding. Extensive experiments on three challenging datasets (ActivityNet Caption, Charades-STA and TACoS) demonstrate that the proposed MA3SRN model achieves a new state-of-the-art.

研究动机与目标

• 解决基于帧的特征提取在区分时序相邻视频帧中细微视觉差异和前景-背景内容方面的局限性。
• 克服基于检测的方法（如 Faster R-CNN）缺乏时间建模能力的问题，这些方法无法捕捉对象层面的运动上下文。
• 通过联合建模运动、外观和 3D 感知时空物体关系，提升时序句子定位的准确性。
• 构建一个统一框架，有效融合运动和外观线索与 3D 感知特征，以增强定位精度。

提出的方法

• 设计三个专用分支：一个用于基于光流引导的运动感知特征，一个用于基于检测的外观感知特征（使用 Faster R-CNN），一个用于通过 3D 卷积神经网络学习 3D 感知特征。
• 通过一种新颖的运动-外观关联模块，将运动和外观信息整合到 3D 感知特征中，以增强特征表示。
• 利用光流捕捉连续帧之间的细粒度运动动态，从而更好地区分相似动作（如 'open' 和 'close'）。
• 应用非极大值抑制和置信度阈值处理，控制每帧检测到的物体数量（K=20），在减少冗余的同时保留关键实例。
• 端到端训练模型，采用对比损失和边界感知回归头，以预测定位片段的起始和结束时间戳。
• 优化超参数，如正样本阈值 λ（最优值为 0.55）和物体数量 K，以平衡精度与计算成本。

实验结果

研究问题

• RQ1 将基于光流引导的运动特征整合是否能提升对语义相似动作（如 'open' 和 'close'）在视频帧中的区分能力？
• RQ2 在前景-背景内容模糊的复杂场景中，引入基于检测的外观特征在多大程度上能提升定位精度？
• RQ3 将运动和外观信息与 3D 感知特征融合，在建模时空物体关系以实现时序定位方面有多高效？
• RQ4 超参数（如正样本阈值 λ 和每帧检测物体数 K）的最优配置是什么？
• RQ5 所提出的运动-外观关联模块是否在定位性能上显著优于特征直接拼接？

主要发现

• 所提出的 MA3SRN 在 Charades-STA 上实现了新的最先进性能，R@1（IoU=0.7）和 R@5（IoU=0.7）分别达到 45.63% 和 73.86%，超越了先前方法。
• 消融实验表明，将运动和外观信息同时引入 3D 感知特征后，R@1 和 R@5 分别相比基线提升了 1.79% 和 1.81%。
• 与直接拼接相比，运动-外观关联模块在 R@1 和 R@5 上分别提升了 1.79% 和 1.81%，证明了其有效性。
• 最优正样本阈值 λ 为 0.55，因为超过该值后性能下降，这是由于对正样本提议的过滤过于严格所致。
• 每帧使用 K=20 个检测物体可实现性能与 GPU 显存成本的最佳权衡，而 K=30 仅带来微小性能增益但显著增加成本。
• 定性结果表明，MA3SRN 更好地捕捉了细粒度的物体差异（如 'door' 与 'closet'）和复杂动作（如 'open' 与 'hold'），优于基于帧的基线方法（如 DRN 和 CBLN）。