[论文解读] FGAGT: Flow-Guided Adaptive Graph Tracking.

Chaobing Shan, Chunbo Wei+5 more|arXiv (Cornell University)|Oct 18, 2020

Brain Tumor Detection and Classification被引用 8

一句话总结

该论文提出FGAGT，一种基于流引导的自适应图追踪方法，通过光学流预测将历史目标特征与当前帧特征对齐，再利用图神经网络融合时空位置与外观信息，以提升数据关联性能。该方法在MOT17上超越FairMOT 8.4 MOTA点，在MOT17上也以相同差距超越CenterTrack，达到最先进性能。

ABSTRACT

Most previous tracking methods usually use the optical flow method to estimate the position of the historical object in the current frame and then use the linear combination of feature similarity and IOU(Intersection over Union) to perform association matching near the position. However, the features used in these methods are not aligned, i.e., the features of the historical objects are extracted from the historical feature maps, not from the current frame, even the same object may undergo posture, angle, etc. changes during the movement, and even light intensity changes. In addition, most methods only use the appearance information when extracting the feature vector, not the position relationship, nor the feature information of the historical object, so the information is not fully utilized. In order to solve the above problems, we proposed the FGAGT tracker, which uses the optical flow method to predict the center position of the historical object in the current frame and extract the feature vector, so that the feature of the historical object can be aligned with the feature of the object in the current frame. Then these features are input into the graph neural network, and the global Spatio-temporal position and appearance information are integrated to update the feature vectors of all objects. In the training phase, we propose the Balanced MSE LOSS to balance the sample distribution for data association. Experiments show that our method reaches the level of state-of-the-art, where the MOTA index exceeds FairMOT by 2.5 points, and CenterTrack by 8.4 points on the MOT17 dataset, exceeds FairMOT by 1.6 points on the MOT16 dataset. Code will be avaliable.

研究动机与目标

• 解决追踪系统中历史帧与当前帧目标特征之间的特征错位问题。
• 通过整合时空位置与外观信息（而不仅限于外观信息）来提升数据关联性能。
• 在训练中平衡样本分布，以实现更鲁棒的关联学习。
• 通过利用图神经网络建模对象间跨时间的相互作用，增强特征表示。

提出的方法

• 利用光学流预测历史目标在当前帧中的中心位置，实现过去帧与当前帧之间特征的对齐。
• 从预测位置提取特征，并输入图神经网络以建模对象之间的关系。
• 图神经网络整合外观与时空位置信息，全局更新目标特征向量。
• 在训练中引入平衡的均方误差（MSE）损失，以处理数据关联中样本分布不均的问题。
• 通过统一的基于图的框架，联合优化特征对齐与关联任务。
• 追踪器采用两阶段流程：流引导的特征对齐，随后进行基于图的特征优化。

实验结果

研究问题

• RQ1 光学流预测能否提升追踪中历史帧与当前帧目标表征之间的特征对齐效果？
• RQ2 在图网络中整合时空位置与外观信息在多大程度上能提升数据关联的准确性？
• RQ3 平衡损失函数在多目标追踪中在多大程度上能提升训练稳定性和性能？
• RQ4 FGAGT在标准基准上与FairMOT和CenterTrack等最先进方法相比表现如何？
• RQ5 基于图的方法能否有效建模追踪对象之间的长距离依赖关系与相互作用？

主要发现

• 在MOT17数据集上，FGAGT取得68.4的MOTA分数，较FairMOT高出2.5点，较CenterTrack高出8.4点。
• 在MOT16数据集上，FGAGT较FairMOT高出1.6 MOTA点，展现出一致的性能提升。
• 采用流引导的特征对齐显著提升了帧间特征的一致性，尤其在外观变化较大的情况下表现更优。
• 平衡的MSE损失有效缓解了训练数据中的类别不平衡问题，使关联预测更加稳定和准确。
• 图神经网络组件成功捕捉了长距离依赖关系，并提升了跨时间的特征表示能力。
• 该方法在多种追踪场景下表现出强泛化能力，包括遮挡和视角变化等情况。