[论文解读] From Indoor To Outdoor: Unsupervised Domain Adaptive Gait Recognition

Likai Wang, Ruize Han+2 more|arXiv (Cornell University)|Nov 21, 2022

Gait Recognition and Analysis被引用 5

一句话总结

本文提出了一种无监督域自适应步态识别（UDA-GR）方法，可将基于室内数据集训练的步态模型迁移至无目标域标注的室外野外环境。通过利用域增强的步态变换估计样本不确定性，并在微调过程中应用不确定性正则化，该方法降低了伪标签中的噪声，在新建立的基准上实现了SOTA性能，mAP相比之前的方法提升了3.9%至4.2%。

ABSTRACT

Gait recognition is an important AI task, which has been progressed rapidly with the development of deep learning. However, existing learning based gait recognition methods mainly focus on the single domain, especially the constrained laboratory environment. In this paper, we study a new problem of unsupervised domain adaptive gait recognition (UDA-GR), that learns a gait identifier with supervised labels from the indoor scenes (source domain), and is applied to the outdoor wild scenes (target domain). For this purpose, we develop an uncertainty estimation and regularization based UDA-GR method. Specifically, we investigate the characteristic of gaits in the indoor and outdoor scenes, for estimating the gait sample uncertainty, which is used in the unsupervised fine-tuning on the target domain to alleviate the noises of the pseudo labels. We also establish a new benchmark for the proposed problem, experimental results on which show the effectiveness of the proposed method. We will release the benchmark and source code in this work to the public.

研究动机与目标

• 为解决将训练于受控室内环境的步态识别模型部署到真实室外环境的实际挑战。
• 开发一种无监督域自适应框架，实现在无目标域标注的情况下，从室内（源域）到室外（目标域）步态数据的迁移。
• 缓解由于室内与室外步态分布之间存在巨大域差距而引起的伪标签中高噪声问题。
• 利用新收集的室外数据集DukeGait以及三个公开数据集，建立一个新的UDA-GR基准。
• 发布该基准和源代码，以促进实际跨环境步态识别研究。

提出的方法

• 该方法使用域特定的数据增强技术，从室内样本中模拟室外步态变化，生成用于不确定性估计的变换序列。
• 通过原始序列与域变换序列之间的特征差异来估计样本不确定性，反映模型对预测结果的置信度。
• 在目标域上应用伪标签生成流程，随后进行感知不确定性的微调，以降低噪声预测的影响。
• 在目标域微调过程中应用不确定性正则化，对高不确定性样本进行抑制，以减少错误传播。
• 该框架采用三阶段流程：源域预训练、目标域伪标签生成和不确定性正则化微调。
• 该方法利用聚类（K-means/DBSCAN）进行伪标签生成，但通过引入感知不确定性的损失加权机制显著提升了性能。

实验结果

研究问题

• RQ1 无监督域自适应能否有效实现从受控室内环境到复杂室外场景的步态识别模型迁移？
• RQ2 在步态识别中存在显著域偏移的情况下，不确定性估计如何提升伪标签的鲁棒性？
• RQ3 不确定性正则化在域自适应过程中对减少伪标签噪声的影响如何？
• RQ4 所提方法在跨环境步态识别任务中与现有UDA Re-ID及单域步态识别方法相比表现如何？
• RQ5 源域数据质量（如CASIA-B与OUMVLP）在多大程度上影响UDA-GR的性能？

主要发现

• 所提出的不确定性正则化UDA-GR方法在新基准的全部四个跨域设置中，相比最佳基线方法，mAP提升了3.9%至4.2%。
• 未使用不确定性正则化的伪标签生成性能甚至劣于直接使用源模型进行推理，表明目标域伪标签存在极高噪声。
• 仅在源域训练阶段引入不确定性估计仅带来有限性能提升，但若与目标域微调结合使用，则显著改善性能。
• 不确定性估计机制能成功识别具有挑战性的样本（如存在遮挡或判别性差的步态模式），并通过赋予其更高的不确定性得分加以体现。
• 在OUMVLP上预训练的模型比在CASIA-B上预训练的模型泛化能力更强，表明更大、更丰富的源域数据集有助于提升跨域迁移性能。
• 该方法在UDA-GR基准上优于所有SOTA步态识别与UDA Re-ID方法，证明了其在实际部署中的有效性。