[论文解读] Customized Video QoE Estimation with Algorithm-Agnostic Transfer Learning

Selim İckin, Markus Fiedler+1 more|arXiv (Cornell University)|Mar 12, 2020

Image and Video Quality Assessment参考文献 15被引用 4

一句话总结

本文提出了一种算法无关的迁移学习框架，用于定制化视频体验质量（QoE）估计，可在不暴露敏感本地数据的前提下实现去中心化的知识共享。通过在共享特征上训练一个通用基础模型，并将其与在领域特定特征上训练的本地化模型堆叠，该方法提升了QoE预测精度——在小规模本地数据集上实现了7%的准确率提升——同时保持对底层机器学习算法的无关性，并保护隐私。

ABSTRACT

The development of QoE models by means of Machine Learning (ML) is challenging, amongst others due to small-size datasets, lack of diversity in user profiles in the source domain, and too much diversity in the target domains of QoE models. Furthermore, datasets can be hard to share between research entities, as the machine learning models and the collected user data from the user studies may be IPR- or GDPR-sensitive. This makes a decentralized learning-based framework appealing for sharing and aggregating learned knowledge in-between the local models that map the obtained metrics to the user QoE, such as Mean Opinion Scores (MOS). In this paper, we present a transfer learning-based ML model training approach, which allows decentralized local models to share generic indicators on MOS to learn a generic base model, and then customize the generic base model further using additional features that are unique to those specific localized (and potentially sensitive) QoE nodes. We show that the proposed approach is agnostic to specific ML algorithms, stacked upon each other, as it does not necessitate the collaborating localized nodes to run the same ML algorithm. Our reproducible results reveal the advantages of stacking various generic and specific models with corresponding weight factors. Moreover, we identify the optimal combination of algorithms and weight factors for the corresponding localized QoE nodes.

研究动机与目标

• 解决在数据稀缺、隐私敏感环境中训练准确QoE模型的挑战，其中本地数据集较小且可能受GDPR/IPR限制。
• 实现在本地化QoE节点之间去中心化的知识共享，而不暴露敏感的用户资料或内容特定特征。
• 将通用QoE因素（例如播放分辨率、中断）与特定因素（例如内容类型、时空复杂度）解耦，以提升模型定制化能力。
• 开发一种对源域和目标域中机器学习算法选择无关的迁移学习框架。
• 证明将预训练的通用模型与本地化模型堆叠可提升预测准确率，尤其在本地数据有限时表现更优。

提出的方法

• 将QoE建模分解为两个组件：在普遍适用特征（如分辨率、中断）上训练的通用基础模型，以及在领域特定特征（如内容类型、设备上下文）上训练的本地化模型。
• 在大规模、多样化的源域数据集上训练通用基础模型，以学习通用的QoE模式，并使用被认为具有普遍代表性的特征。
• 在目标域数据上单独训练本地化模型，包括通用特征和特定特征，以捕捉上下文相关的QoE影响。
• 通过模型堆叠结合通用基础模型和本地化模型的预测结果，使用可学习的权重因子以优化性能。
• 通过允许在源域和目标域使用不同的机器学习算法（如XGBoost、神经网络），确保算法无关性，从而实现灵活且最优的模型选择。
• 通过使用预训练的通用基础模型的知识初始化本地化模型，实现迁移学习，从而在小规模本地数据集上提升性能。

实验结果

研究问题

• RQ1 在隐私敏感环境中，基于多样化大规模数据训练的通用基础模型，在使用本地化数据微调后，是否能提升QoE预测准确率？
• RQ2 当目标域数据有限时，堆叠模型的性能与独立的本地模型或通用模型相比如何？
• RQ3 源域和目标域中机器学习算法的选择在多大程度上影响最终堆叠模型的性能？该框架能否支持算法无关的模型集成？
• RQ4 在不同算法组合下，为最大化预测准确率，通用基础模型与本地化模型之间的最优权重分配是什么？
• RQ5 在源域中包含内容特定特征，如何影响向具有不同内容特征的目标域的迁移性能？

主要发现

• 在源域（G0）上使用播放分辨率、中断等特征训练的通用基础模型准确率为0.75，但当迁移到较小的目标域（G1）时，准确率下降至0.71，表明存在轻微的负迁移。
• 当通用基础模型在源域中同时使用通用特征（GF）和特定特征（SF）进行训练时，其在目标域上的性能下降更为显著（从源域的0.80降至0.68），证实特定特征在源域中无法良好泛化。
• 将通用基础模型与在通用和特定特征上训练的本地化模型堆叠后，小目标数据集上的准确率从独立本地模型的0.73提升至0.78（源域和目标域均使用XGBoost）。
• 当源域和目标域均使用相同算法（XGBoost）时，堆叠集成中基础模型的最优权重为0.5，表明两个模型对结果贡献相等。
• 当基础模型为神经网络、本地模型为XGBoost时，基础模型的最优权重为0.3，表明在此配置下基础模型的贡献较低。
• 该框架通过隐私保护的知识迁移，在小规模本地数据集上实现了7%的QoE估计准确率提升，证明了其在实际部署场景中的实用价值。