[论文解读] Fashion Conversation Data on Instagram

Yu-i Ha, Sejeong Kwon+2 more|arXiv (Cornell University)|Apr 13, 2017

Fashion and Cultural Textiles被引用 5

一句话总结

本文引入了一个包含24,752张Instagram时尚图片的新颖数据集，这些图片通过人工标注和训练好的卷积神经网络（CNN）被标记了视觉类别和情感线索。研究发现，'身体自拍'和'面部'图片——即以自然方式展现时尚的图片——尽管出现频率较低，但产生的互动量显著高于仅展示产品的图片，凸显了在社交媒体时尚营销中真实视觉叙事的重要性。

ABSTRACT

The fashion industry is establishing its presence on a number of visual-centric social media like Instagram. This creates an interesting clash as fashion brands that have traditionally practiced highly creative and editorialized image marketing now have to engage with people on the platform that epitomizes impromptu, realtime conversation. What kinds of fashion images do brands and individuals share and what are the types of visual features that attract likes and comments? In this research, we take both quantitative and qualitative approaches to answer these questions. We analyze visual features of fashion posts first via manual tagging and then via training on convolutional neural networks. The classified images were examined across four types of fashion brands: mega couture, small couture, designers, and high street. We find that while product-only images make up the majority of fashion conversation in terms of volume, body snaps and face images that portray fashion items more naturally tend to receive a larger number of likes and comments by the audience. Our findings bring insights into building an automated tool for classifying or generating influential fashion information. We make our novel dataset of {24,752} labeled images on fashion conversations, containing visual and textual cues, available for the research community.

研究动机与目标

• 理解时尚品牌和个体如何利用Instagram上的视觉内容来提升互动量。
• 识别与更高点赞数和评论数相关的视觉特征，例如图片类型、面部表情和品牌标识。
• 构建一个标注数据集，以支持未来在时尚趋势检测、个性化推荐和自动化内容分析方面的研究。
• 解决目前公开可用、具备细粒度视觉与文本标注的时尚图片数据集匮乏的问题。
• 探索高数量时尚帖子与实际产生受众互动的帖子之间的差距。

提出的方法

• 对24,752张Instagram时尚图片进行人工标注，划分为五种类别：自拍、身体自拍、营销图片、仅产品图和非时尚图。
• 在标注数据上训练卷积神经网络（CNN），以自动分类图片类别，并检测'面部'和'品牌标志'等视觉特征。
• 应用预训练的面部情绪分类器，检测含面部图片中的情感线索（例如：快乐、中性）。
• 使用回归分析和方差分析（ANOVA）测试，分析视觉特征与受众互动（点赞/评论）之间的关系。
• 通过在保留的测试集上进行定量评估，验证CNN模型的准确性。
• 采用基于标签的数据显示收集方法，从48个时尚品牌中获取数据，涵盖四类：顶级高级定制、小型高级定制、设计师品牌和快时尚品牌。

实验结果

研究问题

• RQ1 在Instagram上的时尚帖子中，哪些视觉图片类型最能有效提升点赞和评论数？
• RQ2 时尚图片中的面部表情和情感线索如何影响受众互动？
• RQ3 图片类别（例如：仅产品图 vs. 身体自拍）与用户互动量之间存在何种关系？
• RQ4 不同类型的时尚品牌（例如：快时尚 vs. 高级定制）在Instagram上的视觉内容策略有何差异？
• RQ5 在分类非典型时尚图片（如诱导点击、特写织物图）时会遇到哪些挑战？

主要发现

• 尽管'仅产品'图片是最常见的类型，但其互动量最低，仅占总点赞数的19%，尽管其占所有帖子的多数。
• 包含身体自拍和自拍的图片——即在自然、情境化环境中展示时尚单品的图片——尽管仅占总帖子的31%，却获得了53%的总点赞数。
• 包含面部的图片，尤其是带有快乐或中性表情的图片，与更高的点赞数之间存在统计学上显著的正相关关系。
• CNN模型在分类五种类别视觉图片方面表现出高准确性，证明了自动化时尚图片分类的可行性。
• 非典型图片类型（如广告、诱导点击图、特写织物图）频繁出现，但无法归入主要类别，暴露出当前分类体系的局限性。
• 该数据集揭示，部分时尚标签被用于非时尚语境，表明存在图片垃圾信息，凸显了在用户生成内容中需要更优的信号检测机制。