[论文解读] Feature Space Transfer for Data Augmentation

Bo Liu, Wang, Xudong+3 more|arXiv (Cornell University)|Jan 13, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用 4

一句话总结

本文提出 FATTEN，一种深度编码器-解码器网络，通过在姿态和外观空间中学习连续、平滑的特征轨迹实现数据增强。通过端到端训练并采用多任务损失，FATTEN 实现了跨物体姿态的特征迁移，在 SUN-RGBD 数据集上的少样本目标识别性能相比最先进方法最高提升 5.8 个百分点。

ABSTRACT

The problem of data augmentation in feature space is considered. A new architecture, denoted the FeATure TransfEr Network (FATTEN), is proposed for the modeling of feature trajectories induced by variations of object pose. This architecture exploits a parametrization of the pose manifold in terms of pose and appearance. This leads to a deep encoder/decoder network architecture, where the encoder factors into an appearance and a pose predictor. Unlike previous attempts at trajectory transfer, FATTEN can be efficiently trained end-to-end, with no need to train separate feature transfer functions. This is realized by supplying the decoder with information about a target pose and the use of a multi-task loss that penalizes category- and pose-mismatches. In result, FATTEN discourages discontinuous or non-smooth trajectories that fail to capture the structure of the pose manifold, and generalizes well on object recognition tasks involving large pose variation. Experimental results on the artificial ModelNet database show that it can successfully learn to map source features to target features of a desired pose, while preserving class identity. Most notably, by using feature space transfer for data augmentation (w.r.t. pose and depth) on SUN-RGBD objects, we demonstrate considerable performance improvements on one/few-shot object recognition in a transfer learning setup, compared to current state-of-the-art methods.

研究动机与目标

• 为解决 CNN 在大规模姿态变化下因真实世界数据采样稀疏而导致泛化能力有限的挑战。
• 克服以往数据增强方法无法建模姿态流形连续性与平滑性的局限。
• 开发一种统一的、可端到端训练的架构，实现在无需独立轨迹函数的情况下跨姿态变化的特征迁移。
• 通过合成生成的姿态变异特征丰富特征空间，提升少样本目标识别性能。
• 利用参数化姿态与外观流形实现可扩展、结构感知的数据增强。

提出的方法

• FATTEN 采用编码器-解码器架构，其中编码器分为独立的外观和姿态预测分支。
• 解码器利用预测的姿态和外观嵌入生成目标特征，实现连续轨迹映射。
• 多任务损失同时惩罚类别不匹配与姿态不匹配，强制实现平滑、连续的特征轨迹。
• 网络无需预训练独立的特征迁移函数，实现端到端联合优化表示与迁移。
• 显式使用姿态和深度信息作为输入，以引导生成真实、类别保持的特征变化。
• 将姿态流形离散化为若干区间，以降低学习复杂度，同时保持结构连续性。

实验结果

研究问题

• RQ1 一个深度神经网络是否能在单一端到端架构中学习到跨物体姿态变化的连续且平滑的特征轨迹？
• RQ2 通过外观和姿态参数化建模姿态流形，是否能提升少样本识别任务中的数据增强效果？
• RQ3 在大姿态变化下，FATTEN 与属性引导增强（AGA）和特征幻觉方法相比，泛化性能如何？
• RQ4 通过 FATTEN 实现的特征空间迁移，在多大程度上提升了单样本和少样本目标识别的准确率？
• RQ5 FATTEN 是否能在不需对新数据重新训练的情况下泛化到未见过的物体类别？

主要发现

• 在单样本 $\tfrac{1}{10}$ 评估集上，FATTEN 达到 44.99% 的 top-1 准确率，比基线 SVM 提高 11.25 个百分点。
• 在同一数据集上，FATTEN 相比 AGA 提高 5.87 个百分点，相比特征幻觉方法提高 9.56 个百分点。
• 在五样本设置下，FATTEN 在 $\tfrac{1}{10}$ 上达到 58.82% 的准确率，相比 AGA 提高 1.9%，相比幻觉方法提高 8.51%。
• FATTEN 在所有三个评估集（$\tfrac{1}{10}$，$\tfrac{1}{10}$，$\tfrac{1}{20}$）上均持续优于 AGA 和幻觉方法，表明其在类别不平衡和低样本设置下具有鲁棒性。
• 相比 AGA 的性能提升归因于 FATTEN 的端到端训练和连续轨迹建模，避免了独立迁移函数带来的不连续性。
• FATTEN 显式利用姿态和深度监督，相比非参数化幻觉方法，能生成更具信息量且类别保持性更强的数据增强。