[论文解读] Future Web Growth and its Consequences for Web Search Architectures

Andrew Trotman, Jinglan Zhang|arXiv (Cornell University)|Jul 4, 2013

Web Data Mining and Analysis参考文献 38被引用 4

一句话总结

本文预测，到2025年，单个硬盘驱动器的存储容量将超过整个网页索引的大小；到2035年，包括图片在内的整个可搜索网页内容也将被存储在单个硬盘中。论文提出了一种去中心化的搜索架构，用户在本地存储网页的快照，从而减少对集中式数据中心的依赖，并支持离线搜索，同时通过星型网络直接向用户广播变更信息，实现无需中心化数据中心的更新机制。

ABSTRACT

Introduction: Before embarking on the design of any computer system it is first necessary to assess the magnitude of the problem. In the case of a web search engine this assessment amounts to determining the current size of the web, the growth rate of the web, and the quantity of computing resource necessary to search it, and projecting the historical growth of this into the future. Method: The over 20 year history of the web makes it possible to make short-term projections on future growth. The longer history of hard disk drives (and smart phone memory card) makes it possible to make short-term hardware projections. Analysis: Historical data on Internet uptake and hardware growth is extrapolated. Results: It is predicted that within a decade the storage capacity of a single hard drive will exceed the size of the index of the web at that time. Within another decade it will be possible to store the entire searchable text on the same hard drive. Within another decade the entire searchable web (including images) will also fit. Conclusion: This result raises questions about the future architecture of search engines. Several new models are proposed. In one model the user's computer is an active part of the distributed search architecture. They search a pre-loaded snapshot (back-file) of the web on their local device which frees up the online data centre for searching just the difference between the snapshot and the current time. Advantageously this also makes it possible to search when the user is disconnected from the Internet. In another model all changes to all files are broadcast to all users (forming a star-like network) and no data centre is needed.

研究动机与目标

• 评估网页长期增长及其对搜索引擎基础设施的影响。
• 基于网页和硬件增长的历史趋势，预测未来的存储与计算需求。
• 探索在网页存储容量可容纳于单个硬盘时，减少对集中式数据中心依赖的架构替代方案。
• 设计支持离线搜索和去中心化索引的搜索模型，利用本地设备存储。
• 评估通过点对点分发网页变更信息，完全消除集中式数据中心的可行性。

提出的方法

• 基于过去20多年网页增长数据，推算未来存储需求。
• 利用硬盘和智能手机内存容量的历史趋势，预测未来存储的可扩展性。
• 提出一种分布式搜索模型，用户维护一个预先加载的本地网页快照。
• 引入一种类似星型的网络模型，所有文件变更直接广播至用户，从而消除对中心化数据中心的需求。
• 设计一种系统，仅由在线数据中心对快照与当前网页状态之间的差异进行索引。
• 通过允许用户在无互联网连接的情况下独立查询其本地网页快照，实现离线搜索。

实验结果

研究问题

• RQ1 网页的指数级增长将如何影响集中式搜索引擎架构的可扩展性？
• RQ2 当单个硬盘驱动器的存储容量超过整个网页索引大小时，将是哪一年？
• RQ3 在网页存储容量可容纳于消费级硬盘时，有哪些架构模型可减少对集中式数据中心的依赖？
• RQ4 是否能通过本地设备存储网页快照，有效支持离线搜索？
• RQ5 通过直接向用户广播所有网页变更，是否可行完全消除集中式数据中心？

主要发现

• 到2025年，单个硬盘驱动器的存储容量预计将超过整个网页索引的大小。
• 到2035年，整个可搜索网页文本内容将可存储于单个硬盘中。
• 到2045年，整个可搜索网页（包括图片）将可存储于单个存储设备中。
• 采用本地网页快照的去中心化模型可实现离线搜索，并减轻中心化数据中心的负载。
• 通过点对点广播模型，可直接将变更分发至用户，从而消除对集中式数据中心的需求。
• 向本地存储和分布式索引的转变，将从根本上改变传统搜索引擎数据中心的角色。