[论文解读] Crafting a multi-task CNN for viewpoint estimation

Francisco Massa, Renaud Marlet+1 more|arXiv (Cornell University)|Sep 13, 2016

Advanced Neural Network Applications参考文献 24被引用 17

一句话总结

本文提出一种多任务CNN，通过统一的训练框架联合执行目标检测与视角估计，表明联合训练、更深的网络结构（如VGG16）、ImageNet预训练以及合成数据的结合可显著提升性能。该方法在具有挑战性的24视角Pascal3D+基准上将平均平均精度（mAVP）相对提升了5%，达到36.1%，创下新的最先进水平。

ABSTRACT

Convolutional Neural Networks (CNNs) were recently shown to provide state-of-the-art results for object category viewpoint estimation. However different ways of formulating this problem have been proposed and the competing approaches have been explored with very different design choices. This paper presents a comparison of these approaches in a unified setting as well as a detailed analysis of the key factors that impact performance. Followingly, we present a new joint training method with the detection task and demonstrate its benefit. We also highlight the superiority of classification approaches over regression approaches, quantify the benefits of deeper architectures and extended training data, and demonstrate that synthetic data is beneficial even when using ImageNet training data. By combining all these elements, we demonstrate an improvement of approximately 5% mAVP over previous state-of-the-art results on the Pascal3D+ dataset. In particular for their most challenging 24 view classification task we improve the results from 31.1% to 36.1% mAVP.

研究动机与目标

• 系统分析基于CNN的视角估计中的关键设计选择，包括训练策略、网络深度和数据构成。
• 评估目标检测与视角估计联合训练对性能的影响。
• 量化更深网络结构（如VGG16）、ImageNet预训练以及合成数据在视角估计中的优势。
• 在Pascal3D+数据集上建立新的最先进基线。
• 识别并解决真实图像与合成3D渲染图像之间域偏移导致的性能下降问题。

提出的方法

• 提出一种多任务CNN框架，从单一卷积特征图中联合预测目标检测（边界框）与视角估计（24分类）任务。
• 引入一种联合训练策略，其中检测与视角估计分支共享早期卷积层，并通过组合损失函数进行端到端联合训练。
• 采用基于分类的方法进行视角估计，在消融实验中优于基于回归的方法。
• 通过在ImageNet上预训练并在Pascal3D+上微调，利用迁移学习显著提升泛化能力。
• 引入240万张合成3D渲染图像以增强真实Pascal3D+数据，尤其对低资源类别具有显著帮助。
• 应用数据平衡技术与域自适应策略，缓解由域偏移（如ImageNet与Pascal椅子类别之间）导致的性能下降。

实验结果

研究问题

• RQ1 与独立训练相比，目标检测与视角估计的联合训练对性能有何影响？
• RQ2 更深的网络结构（如VGG16与AlexNet）对视角估计准确率的相对贡献如何？
• RQ3 在Pascal3D+基准上，ImageNet预训练及使用合成数据能在多大程度上提升性能？
• RQ4 为何某些物体类别（如椅子、船）在合并ImageNet与Pascal3D+数据时出现性能下降？
• RQ5 在多视角估计中，统一的分类方法是否能优于基于回归的方法？

主要发现

• 所提出的多任务CNN采用联合训练，相较于之前的最先进方法，mAVP提升了5%，在24视角分类任务中达到36.1%。
• 基于分类的方法始终优于基于回归的方法，尤其在细粒度视角估计中表现更优。
• 使用VGG16替代AlexNet，结合ImageNet数据后，mAVP从27.3%提升至34.4%，证明更深网络结构的优势。
• 将ImageNet数据加入Pascal3D+后，mAVP从19.3%提升至34.4%，表明大规模预训练即使在已有真实数据下也极具价值。
• 尽管存在域偏移问题，合成数据仍使mAVP平均提升1.7%，证明数据量仍是主要瓶颈。
• 椅子与船类性能下降归因于ImageNet与Pascal3D+类别间的域偏移，通过细致的数据平衡与域感知训练策略得以缓解。