[论文解读] Expecting the Unexpected: Training Detectors for Unusual Pedestrians with Adversarial Imposters

Shiyu Huang, Deva Ramanan|arXiv (Cornell University)|Mar 18, 2017

Human Pose and Action Recognition参考文献 2被引用 4

一句话总结

本文提出了一种受 GAN 启发的框架，利用游戏引擎生成合成的‘对抗性伪装者’——即逼真且罕见的行人场景，如儿童玩耍或骑滑板的人——通过训练判别器来区分真实数据与合成数据。该方法通过在真实数据与这些高质量合成伪装者之间的平衡混合数据上微调检测器，显著提升了在罕见、危险场景下的行人检测性能，在新型 Precarious Pedestrian 数据集上取得了最先进结果。

ABSTRACT

As autonomous vehicles become an every-day reality, high-accuracy pedestrian detection is of paramount practical importance. Pedestrian detection is a highly researched topic with mature methods, but most datasets focus on common scenes of people engaged in typical walking poses on sidewalks. But performance is most crucial for dangerous scenarios, such as children playing in the street or people using bicycles/skateboards in unexpected ways. Such "in-the-tail" data is notoriously hard to observe, making both training and testing difficult. To analyze this problem, we have collected a novel annotated dataset of dangerous scenarios called the Precarious Pedestrian dataset. Even given a dedicated collection effort, it is relatively small by contemporary standards (around 1000 images). To allow for large-scale data-driven learning, we explore the use of synthetic data generated by a game engine. A significant challenge is selected the right "priors" or parameters for synthesis: we would like realistic data with poses and object configurations that mimic true Precarious Pedestrians. Inspired by Generative Adversarial Networks (GANs), we generate a massive amount of synthetic data and train a discriminative classifier to select a realistic subset, which we deem the Adversarial Imposters. We demonstrate that this simple pipeline allows one to synthesize realistic training data by making use of rendering/animation engines within a GAN framework. Interestingly, we also demonstrate that such data can be used to rank algorithms, suggesting that Adversarial Imposters can also be used for "in-the-tail" validation at test-time, a notoriously difficult challenge for real-world deployment.

研究动机与目标

• 为解决现有数据集中缺乏逼真、罕见行人场景的问题，这阻碍了自动驾驶汽车用鲁棒行人检测器的训练与评估。
• 开发一种可扩展的方法，用于生成能够捕捉罕见、危险行人行为在统计与视觉特征上的高保真度合成数据。
• 通过使用判别分类器仅选择最逼真的合成样本——即‘对抗性伪装者’——来实现从合成数据到真实世界部署的有效迁移学习。
• 验证合成对抗性伪装者不仅可作为训练数据，还能作为可靠测试集，用于评估检测器在罕见、难以观测场景下的性能。

提出的方法

• 使用渲染流水线根据场景参数（如身体姿态、物体配置）生成合成图像，利用游戏引擎的物理与光照保真度。
• 应用生成对抗框架，其中生成器固定为渲染引擎，潜在空间经过优化以生成能欺骗在真实 Precarious Pedestrian 图像上训练的判别器的图像。
• 判别器被训练以区分来自 Precarious Pedestrian 数据集的真实图像与合成图像，性能最佳的合成图像——即最能让判别器混淆的图像——被选为‘对抗性伪装者’。
• 提出一种新型检测器 RPN+，其输出行人检测的密集热力图，并为每个像素回归边界框，从而提升对罕见、非标准行人姿态的检测能力。
• 最终检测器通过真实数据与对抗性伪装者的组合进行微调，消融实验表明当伪装者集合大小与真实训练集大小相当时性能最优。
• 监控判别器的训练进度，并使用多个版本在不同训练阶段选择伪装者，从而随时间推移不断提升合成数据的质量。

实验结果

研究问题

• RQ1 通过游戏引擎生成的合成数据，若经对抗训练优化，能否产生逼真且多样的罕见行人行为示例，如儿童玩耍或骑滑板的人？
• RQ2 在真实数据与对抗性伪装者组成的平衡混合数据上微调行人检测器，是否相比仅使用真实数据训练，能提升在罕见、危险行人场景下的性能？
• RQ3 对抗性伪装者能否作为可靠的合成测试集，用于评估检测器在‘尾部’场景（即真实测试数据稀缺）下的鲁棒性？
• RQ4 对抗性伪装者集合的大小以及判别器的训练阶段如何影响最终检测器的性能？

主要发现

• 在真实数据与对抗性伪装者上微调的 RPN+ 检测器，在假阳性率为 10⁻¹ 时的漏检率为 42.47%，优于标准微调（提升 6%）和仅使用真实数据训练（提升 24%）。
• 当对抗性伪装者数量约等于真实训练集大小（500 张图像）时，性能达到最优，表明数据分布平衡的重要性。
• 随着判别器在训练过程中准确率提高，最终检测器的性能也随之提升，表明更高质量的合成数据可带来更好的泛化能力。
• 在真实测试集与合成对抗性伪装者测试集上的检测器排名完全一致，表明合成数据可可靠替代真实罕见场景测试数据。
• 该方法表明，通过对抗性优化生成的合成数据能有效弥合合成数据与真实世界行人检测场景之间的域差距。
• 在对抗性伪装者上训练的 RPN+ 模型在 Caltech 数据集上表现较差，表明由于尺度、长宽比与场景分布差异导致的域偏移，强调了领域特定数据的重要性。