[论文解读] AuxAdapt: Stable and Efficient Test-Time Adaptation for Temporally Consistent Video Semantic Segmentation

Yizhe Zhang, Shubhankar Borse+2 more|arXiv (Cornell University)|Oct 24, 2021

Advanced Image Processing Techniques被引用 5

一句话总结

AuxAdapt 提出了一种稳定且高效的视频语义分割测试时自适应方法，通过不依赖光流或跨帧特征，显著提升了时序一致性。通过使用一个轻量级辅助网络（AuxNet），该网络在推理过程中实时更新，而主网络保持冻结，AuxAdapt 仅需比最先进方法多出5倍的计算开销，便在时序一致性方面实现了显著提升。

ABSTRACT

In video segmentation, generating temporally consistent results across frames is as important as achieving frame-wise accuracy. Existing methods rely either on optical flow regularization or fine-tuning with test data to attain temporal consistency. However, optical flow is not always avail-able and reliable. Besides, it is expensive to compute. Fine-tuning the original model in test time is cost sensitive. This paper presents an efficient, intuitive, and unsupervised online adaptation method, AuxAdapt, for improving the temporal consistency of most neural network models. It does not require optical flow and only takes one pass of the video. Since inconsistency mainly arises from the model's uncertainty in its output, we propose an adaptation scheme where the model learns from its own segmentation decisions as it streams a video, which allows producing more confident and temporally consistent labeling for similarly-looking pixels across frames. For stability and efficiency, we leverage a small auxiliary segmentation network (AuxNet) to assist with this adaptation. More specifically, AuxNet readjusts the decision of the original segmentation network (Main-Net) by adding its own estimations to that of MainNet. At every frame, only AuxNet is updated via back-propagation while keeping MainNet fixed. We extensively evaluate our test-time adaptation approach on standard video benchmarks, including Cityscapes, CamVid, and KITTI. The results demonstrate that our approach provides label-wise accurate, temporally consistent, and computationally efficient adaptation (5+ folds overhead reduction comparing to state-of-the-art test-time adaptation methods).

研究动机与目标

• 为解决在依赖不可靠或昂贵光流时视频语义分割中的时序不一致问题。
• 开发一种高效、无监督且在线的自适应方法，提升一致性，同时不修改主分割网络。
• 与现有测试时自适应方法（如 DVP）相比，降低计算成本，后者需要在测试视频上进行大量微调。
• 仅通过单次前向传播每帧实现稳定自适应，利用模型不确定性与置信度采样。

提出的方法

• AuxAdapt 引入一个小型辅助分割网络（AuxNet），与预训练的主网络（MainNet）协同工作，后者在推理过程中保持冻结。
• 在每一帧中，仅通过基于主网络预测与主网络和辅助网络输出聚合结果之间差异的损失，对 AuxNet 进行反向传播更新。
• 最终分割结果为 MainNet 和 AuxNet 输出的加权和，其中 AuxNet 用于校正 MainNet 预测中的不一致性。
• AuxAdapt 采用基于置信度的空间采样策略，仅更新低置信度像素，从而在不损失性能的前提下提升效率。
• 采用运动自适应动量，动态调整 AuxNet 的学习率，在不同视频序列中实现时序一致性与准确率的平衡。
• 该方法以在线流式方式应用，仅需对视频进行单次遍历，无需光流或特征匹配。

Figure 1 : Segmentations of two pairs of consecutive video frames. Columns 1 and 3 show the results of the state-of-the-art HRNet-w48 model [ 40 ] . Columns 2 and 4 are obtained by applying our efficient AuxAdapt to HRNet-48. As visible, AuxAdapt improves the temporal consistency significantly.

实验结果

研究问题

• RQ1 我们能否在不依赖光流或跨帧对应关系的情况下，实现稳定且高效的视频语义分割测试时自适应？
• RQ2 我们能否仅利用模型自身预测，在推理过程中提升时序一致性？
• RQ3 一个轻量级辅助网络能否以极低的计算开销，有效校正冻结主网络中的不一致性？
• RQ4 空间子采样与自适应动量对测试时自适应的效率与性能有何影响？

主要发现

• 在 Cityscapes 数据集上使用 HRNet-w48-s4 时，AuxAdapt 达到了 75.8% 的时序一致性（TC）得分，在 KITTI 上达到 63.5%，显著优于基线方法。
• 与最先进测试时自适应方法（如 DVP）相比，AuxAdapt 的计算开销降低了超过 5 倍，KITTI 上仅需 189 GMACs/F。
• 基于置信度的采样策略在 KITTI 上将更新像素数减少高达 82%，同时保持了高水平的 TC 提升，显著提升了效率。
• 运动自适应动量在 TC 与 mIoU 之间实现了更优平衡，优于固定动量设置，在所有数据集上表现更优。
• 即使采用间歇性自适应（每 10 帧更新一次），AuxAdapt 仍能保持强劲的 TC 提升（Cityscapes 上为 74.7%，KITTI 上为 59.9%），表现出对更新频率的鲁棒性。
• 在跨数据集自适应（Cityscapes 到 KITTI）中，AuxAdapt 在保持 mIoU（65.8%）的同时，将 TC 从 57.4% 提升至 63.5%，避免了全微调中常见的过拟合问题。

Figure 2 : Left: Deep Video Prior (DVP) [ 25 ] first applies the original network to all video frames. The outputs, together with the corresponding inputs, are collected to form a training set. A new network is then trained based on this set using at least 25 epochs. Finally, the retrained network i