[论文解读] Knowledge as Priors: Cross-Modal Knowledge Generalization for Datasets without Superior Knowledge

L. Zhao, Xi Peng+3 more|arXiv (Cornell University)|Apr 1, 2020

Human Pose and Action Recognition参考文献 58被引用 8

一句话总结

本文提出跨模态知识泛化（CMKG），一种元学习方法，可将来自源数据集（如RGB与深度图像配对）的蒸馏跨模态知识迁移至目标数据集（如仅含RGB图像）中缺乏优越模态的数据。通过元优化将蒸馏知识建模为参数先验，CMKG在无需访问目标域优越模态的情况下，实现了三维手部姿态估计的最先进性能。

ABSTRACT

Cross-modal knowledge distillation deals with transferring knowledge from a model trained with superior modalities (Teacher) to another model trained with weak modalities (Student). Existing approaches require paired training examples exist in both modalities. However, accessing the data from superior modalities may not always be feasible. For example, in the case of 3D hand pose estimation, depth maps, point clouds, or stereo images usually capture better hand structures than RGB images, but most of them are expensive to be collected. In this paper, we propose a novel scheme to train the Student in a Target dataset where the Teacher is unavailable. Our key idea is to generalize the distilled cross-modal knowledge learned from a Source dataset, which contains paired examples from both modalities, to the Target dataset by modeling knowledge as priors on parameters of the Student. We name our method "Cross-Modal Knowledge Generalization" and demonstrate that our scheme results in competitive performance for 3D hand pose estimation on standard benchmark datasets.

研究动机与目标

• 解决在缺乏优越模态（如深度图、点云）的数据集中迁移跨模态知识的挑战。
• 通过将从配对源数据中学到的知识泛化到非配对目标数据，实现在不同数据集间的知识蒸馏。
• 利用配对RGB-深度数据中学到的知识，提升仅含RGB图像数据集中的三维手部姿态估计性能。
• 开发一种参数先验正则化方案，通过元学习泛化跨模态知识。

提出的方法

• 利用包含配对模态（如RGB与深度）的源数据集，采用教师-学生框架蒸馏跨模态知识。
• 通过元学习目标，将蒸馏知识建模为学生网络参数上的先验。
• 通过元优化调整先验参数，以最小化目标数据集的验证损失。
• 在目标数据集训练过程中，将学习到的先验作为正则化项，提升泛化能力。
• 采用逐参数的先验形式，包含正负两部分，以促进稀疏性并增强特征学习。
• 使用元学习算法学习先验，使其在存在领域偏移的不同目标数据集上均具有良好泛化能力。

实验结果

研究问题

• RQ1 能否有效将从源数据集蒸馏出的跨模态知识泛化到缺乏优越模态的目标数据集？
• RQ2 如何在不依赖目标域教师模型的前提下，将配对多模态数据中的知识迁移至单模态目标数据集？
• RQ3 元学习得到的参数先验在仅含RGB图像的数据集上，对三维手部姿态估计性能的提升程度如何？
• RQ4 泛化的知识先验性能在多大程度上依赖于源数据集与目标数据集之间的领域偏移和数据分布差异？

主要发现

• CMKG在STB基准上实现了三维手部姿态估计的最先进性能，误差为8.18 mm，优于先前方法。
• 在FreiHAND数据集上，使用学习到的先验后，误差从基线的16.18 mm降低至14.18 mm，实现2.00 mm的改进。
• 该方法在FreiHAND中多样化的领域间泛化良好，性能提升范围为0.10 mm至7.49 mm，具体取决于领域。
• 可视化结果表明，正则化后的网络学习到更集中的零点参数分布，表明有效诱导了稀疏性。
• 性能提升与默认L2正则化的有效性密切相关，表明与标准优化实践具有良好的兼容性。
• 即使目标数据集存在显著领域偏移，该方法仍保持有效性，表现出对分布差异的强鲁棒性。