[论文解读] Losing My Revolution: How Many Resources Shared on Social Media Have Been Lost?

Hany M. SalahEldeen, Michael L. Nelson|arXiv (Cornell University)|Sep 13, 2012

Web Data Mining and Analysis参考文献 12被引用 5

一句话总结

本研究分析了2009至2012年六次重大全球事件期间在社交媒体上传播的网络资源的持久性，发现一年内11%的共享资源丢失，2.5年后达27%，且一年后每日损失呈0.02%的线性衰减。作者利用线性回归模型，基于实时网络和存档可用性数据，对丢失率与存档率进行建模。

ABSTRACT

Social media content has grown exponentially in the recent years and the role of social media has evolved from just narrating life events to actually shaping them. In this paper we explore how many resources shared in social media are still available on the live web or in public web archives. By analyzing six different event-centric datasets of resources shared in social media in the period from June 2009 to March 2012, we found about 11% lost and 20% archived after just a year and an average of 27% lost and 41% archived after two and a half years. Furthermore, we found a nearly linear relationship between time of sharing of the resource and the percentage lost, with a slightly less linear relationship between time of sharing and archiving coverage of the resource. From this model we conclude that after the first year of publishing, nearly 11% of shared resources will be lost and after that we will continue to lose 0.02% per day.

研究动机与目标

• 调查在具有文化意义的事件期间，社交媒体上传播的网络资源的长期持久性。
• 量化随时间推移，从实时网络中丢失及被公共网络存档的共享资源比例。
• 将资源可用性的随时间衰减与存档覆盖率建模为自分享以来时间的函数。
• 评估社交媒体作为保存具有历史重要性的数字内容来源的可靠性。
• 通过估算事件导向型社交媒体内容的丢失与存档趋势，为数字保存策略提供建议。

提出的方法

• 从斯坦福大学SNAP推特数据集（2009年6月至2012年12月）收集六个以事件为中心的数据集，聚焦于重大全球事件：H1N1疫情、迈克尔·杰克逊去世、伊朗选举、奥巴马诺贝尔奖、埃及革命与叙利亚起义。
• 利用话题标签和时间中心点识别与事件相关的内容，将每个事件划分为两个高峰，以捕捉社交媒体活动的不同波次。
• 从推文中提取嵌入的URI，并在多个时间点测试其在实时网络中的可用性及在公共网络存档（如互联网档案馆）中的存在情况。
• 应用线性回归模型，将丢失和存档资源的百分比作为自分享以来天数的函数进行建模，得出两个预测方程。
• 使用Memento和网络爬取技术验证共享资源在实时网络和存档中的可用性。
• 利用2009至2012年的数据校准模型，并通过事件前与事件后内容的验证，确保时间准确性。

实验结果

研究问题

• RQ1 社交媒体上传播的网络资源在一年内及2.5年内从实时网络中丢失的比例是多少？
• RQ2 资源在实时网络中的丢失率在分享后如何随时间变化？
• RQ3 被保存在公共网络存档中的共享资源占多大比例？其覆盖范围如何随时间演变？
• RQ4 是否存在自分享以来时间与资源丢失或存档百分比之间的可预测线性关系？
• RQ5 不同类型的事件（如健康危机、政治动乱、名人去世）如何影响共享内容的持久性与存档情况？

主要发现

• 一年后，约11%的社交媒体共享资源从实时网络中丢失，此后每日损失呈0.02%的线性衰减。
• 2.5年后，27%的共享资源已丢失，表明其可用性随时间呈稳定且可预测的下降趋势。
• 2.5年后，约41%的共享资源被存档于公共网络存档中，存档覆盖率每日线性增加0.04%。
• 存档资源的百分比随时间稳步上升，尽管其关系不如丢失模式那样线性。
• 模型估计，前100天内4.20%的共享内容丢失，到第365天上升至11%。
• 研究发现事件类型影响持久性，其中迈克尔·杰克逊去世（36.24%丢失）和伊朗抗议（31.62%丢失）事件的丢失率更高，但所有事件均表现出相似的长期趋势。