[论文解读] Leveraging User Diversity to Harvest Knowledge on the Social Web

Jeon-Hyung Kang, Kristina Lerman|arXiv (Cornell University)|Oct 21, 2011

Multimodal Machine Learning Applications参考文献 23被引用 3

一句话总结

本文提出了一种框架，通过分析用户注释的结构和内容来识别社交网络中的专家用户，利用其高质量、详细的标签以及层级化组织方式来引导分类法学习。该方法通过更重视专家注释来提升分类法的准确性和完整性，同时表明新手用户的贡献对于实现全面覆盖也至关重要。

ABSTRACT

Social web users are a very diverse group with varying interests, levels of expertise, enthusiasm, and expressiveness. As a result, the quality of content and annotations they create to organize content is also highly variable. While several approaches have been proposed to mine social annotations, for example, to learn folksonomies that reflect how people relate narrower concepts to broader ones, these methods treat all users and the annotations they create uniformly. We propose a framework to automatically identify experts, i.e., knowledgeable users who create high quality annotations, and use their knowledge to guide folksonomy learning. We evaluate the approach on a large body of social annotations extracted from the photosharing site Flickr. We show that using expert knowledge leads to more detailed and accurate folksonomies. Moreover, we show that including annotations from non-expert, or novice, users leads to more comprehensive folksonomies than experts' knowledge alone.

研究动机与目标

• 为解决社交网络平台中用户生成注释质量参差不齐的问题，识别那些产生高质量、详细注释的专家用户。
• 通过利用专家知识来改进分类法学习，从而生成更准确、更详细的分类体系。
• 研究新手用户在提升分类法完整性方面所起的互补作用，这种作用是仅靠专家无法提供的。
• 开发一种鲁棒的专家识别方法，即使在专家标注存在中等程度错误的情况下仍保持有效性。
• 将该方法推广至Flickr以外的其他结构化数据源，如Delicious、Bibsonomy以及文件系统。

提出的方法

• 利用用户创建的个人目录（如Flickr的收藏集和相册集）的结构和语言特征来识别专家，重点关注其深度、粒度以及技术术语的使用。
• 应用基于监督分类模型，训练特征包括目录深度、中间节点数量以及标签的语义一致性。
• 扩展RAP（关联传播）算法，在分类法推理过程中赋予专家注释更高的权重。
• 在推理过程中为专家节点和新手节点分配偏好值，其中专家节点获得更高权重，以引导分类体系的构建。
• 采用鲁棒性评估框架，模拟高达50%的专家误标情况，以测试所学分类法的稳定性。
• 在大规模Flickr注释数据集上验证该方法，比较在使用和不使用专家加权情况下的分类法学习效果。

实验结果

研究问题

• RQ1 用户注释的结构能否用于自动识别在社交网络平台上产生高质量、详细注释的专家？
• RQ2 在分类法学习过程中对专家注释赋予更高权重，是否能生成比平均分配权重更准确、更详细的分类体系？
• RQ3 新手用户在多大程度上促进了分类法的完整性？即使使用了专家知识，是否仍需包含新手用户的贡献？
• RQ4 当高达50%的专家被错误识别时，分类法学习过程的鲁棒性如何？
• RQ5 所提出的框架能否推广至Flickr以外的其他结构化数据源，如eBay分类、Delicious捆绑包或Bibsonomy关系？

主要发现

• 在RAP推理过程中对专家注释赋予更高权重，可显著提升分类法的准确性和细节程度，优于均匀加权。
• 即使专家识别错误率高达50%，所学分类法的质量仍保持稳定，表明对误标具有强鲁棒性。
• 尽管专家知识对准确性和细节至关重要，但新手用户贡献了独特且非冗余的标签，从而增强了分类法的完整性。
• 结合专家与新手注释所学习到的分类法，比仅基于专家的分类法更全面，表明两者具有互补作用。
• 该方法能有效基于注释的结构特征（如目录深度和中间概念的使用）识别专家，其性能优于均匀用户加权。
• 该框架可良好推广至其他数据源，包括eBay分类、Delicious捆绑包和Bibsonomy，表明其具有广泛适用性。