[论文解读] From Common to Special: When Multi-Attribute Learning Meets Personalized Opinions

Zhiyong Yang, Qianqian Xu+2 more|arXiv (Cornell University)|Nov 18, 2017

Text and Document Classification Technologies被引用 4

一句话总结

该论文提出了一种分层多任务学习模型，通过三部分分解（共性认知、属性特定偏差和用户特定偏差）统一用户特定属性预测与多属性相关性。通过结合Lasso和组Lasso正则化进行特征选择，该模型在二值属性学习和相对属性学习任务上均取得了最先进性能，在实证评估中优于全局、用户特定和多任务基线模型。

ABSTRACT

Visual attributes, which refer to human-labeled semantic annotations, have gained increasing popularity in a wide range of real world applications. Generally, the existing attribute learning methods fall into two categories: one focuses on learning user-specific labels separately for different attributes, while the other one focuses on learning crowd-sourced global labels jointly for multiple attributes. However, both categories ignore the joint effect of the two mentioned factors: the personal diversity with respect to the global consensus; and the intrinsic correlation among multiple attributes. To overcome this challenge, we propose a novel model to learn user-specific predictors across multiple attributes. In our proposed model, the diversity of personalized opinions and the intrinsic relationship among multiple attributes are unified in a common-to-special manner. To this end, we adopt a three-component decomposition. Specifically, our model integrates a common cognition factor, an attribute-specific bias factor and a user-specific bias factor. Meanwhile Lasso and group Lasso penalties are adopted to leverage efficient feature selection. Furthermore, theoretical analysis is conducted to show that our proposed method could reach reasonable performance. Eventually, the empirical study carried out in this paper demonstrates the effectiveness of our proposed method.

研究动机与目标

• 为解决现有方法将用户特定属性与多属性相关性分别处理的局限性。
• 同时建模个人在属性感知上的多样性与多个属性之间的内在关系。
• 构建一个统一框架，捕捉属性间共享知识的同时适应个体标注者偏好。
• 通过结构化正则化提升个性化属性学习中的泛化能力与特征选择性能。
• 在二值和相对属性学习基准上验证所提模型的有效性。

提出的方法

• 模型将预测器权重分解为三个部分：共享的共性认知因子、属性特定偏差因子和用户特定偏差因子。
• 采用三部分分解方法，联合建模多个属性上的全局共识与个体标注者偏好。
• 应用Lasso和组Lasso正则化，实现在属性与用户层面的高效、结构化特征选择。
• 使用加速近端梯度法求解正则化学习问题。
• 在众包标注数据上端到端训练模型，并通过微调适应用户特定数据。
• 对于相对属性学习，对图像对特征进行处理，以适配模型的排序式公式。

实验结果

研究问题

• RQ1 如何在一个统一框架中联合建模用户特定属性偏好与多属性间的内在相关性？
• RQ2 模型权重的共性到个性分解能否有效捕捉属性感知中的共享知识与个体差异？
• RQ3 引入结构化正则化（Lasso与组Lasso）在个性化属性学习中在多大程度上改善了特征选择与模型泛化能力？
• RQ4 在不同数据划分下，所提模型与全局、用户特定及多任务基线相比，在准确率与鲁棒性方面表现如何？
• RQ5 理论分析是否在现实假设下支持该方法的收敛性与一致性？

主要发现

• 所提模型在所有数据划分下，于二值与相对属性学习任务上均达到最高平均分类准确率。
• 在二值属性数据集上，当使用40%的训练数据时，模型相比最佳基线（rMTFL-U）准确率最高提升4.2%。
• 在相对属性数据集上，模型在平均排序准确率上显著优于所有基线，尤其在低数据环境下表现突出。
• 理论分析表明，该方法能以高概率估计真实参数，并实现良好的泛化性能。
• 实证结果证实，共性认知、属性特定与用户特定因子的整合优于单独建模任一因子的表现。
• Lasso与组Lasso正则化的应用实现了有效的特征选择，降低了过拟合风险并提升了模型可解释性。