[论文解读] Microsoft TerraServer: A Spatial Data Warehouse

Tom Barclay Jim Gray Don Slutz|ArXiv.org|Jul 9, 1999

Data Management and Algorithms参考文献 2被引用 11

一句话总结

Microsoft TerraServer 提出了一种可扩展的空间数据仓库，通过基于 Web 的 SQL 数据库存储并提供来自航空、卫星和地形图像的 TB 级数据。通过将‘互联网不友好’的地理空间图像转换为数百万个‘互联网友好’的瓦片，该系统实现了通过标准 Web 浏览器的无缝访问，在一年内实现了超过 20 亿次网页访问和 20 TB 的数据传输，证明了关系型数据库在大规模地理空间数据管理中的可行性。

ABSTRACT

The TerraServer stores aerial, satellite, and topographic images of the earth in a SQL database available via the Internet. It is the world's largest online atlas, combining five terabytes of image data from the United States Geological Survey (USGS) and SPIN-2. This report describes the system-redesign based on our experience over the last year. It also reports usage and operations results over the last year -- over 2 billion web hits and over 20 Terabytes of imagry served over the Internet. Internet browsers provide intuitive spatial and text interfaces to the data. Users need no special hardware, software, or knowledge to locate and browse imagery. This paper describes how terabytes of "Internet unfriendly" geo-spatial images were scrubbed and edited into hundreds of millions of "Internet friendly" image tiles and loaded into a SQL data warehouse. Microsoft TerraServer demonstrates that general-purpose relational database technology can manage large scale image repositories, and shows that web browsers can be a good geospatial image presentation system.

研究动机与目标

• 设计并部署一个大规模、可通过 Web 访问的空间数据仓库，用于地理空间图像。
• 解决通过将‘互联网不友好’的大规模地理空间图像转换为更小、面向 Web 优化的瓦片，以实现高效网络分发的挑战。
• 证明通用关系型数据库系统能够高效管理并提供 TB 级图像存储库的访问。
• 仅通过标准 Web 浏览器实现对高分辨率地球影像的普遍访问，无需专用软件或硬件。
• 在真实部署环境中评估系统性能、可扩展性及用户访问模式。

提出的方法

• 从 USGS 和 SPIN-2 获取图像，并将其预处理为分层瓦片结构，以实现高效的 Web 传输。
• 将每张大图像划分为更小的、固定大小的瓦片，以优化 Web 传输和渐进式加载。
• 设计关系型数据库模式以存储元数据和瓦片位置信息，支持基于 SQL 的空间和文本搜索。
• 系统使用标准 Web 协议（HTTP）和基于浏览器的界面，直接将图像交付给用户。
• 应用图像处理和格式转换，以确保与 Web 标准和客户端渲染的兼容性。
• 系统架构支持高并发访问，采用负载均衡和缓存策略以提升性能。

实验结果

研究问题

• RQ1 通用关系型数据库系统能否有效管理并基于 Web 提供 TB 级空间图像存储库？
• RQ2 如何将大型、‘互联网不友好’的地理空间图像转换为适合高效 Web 传输的格式？
• RQ3 在真实用户工作负载下，基于 Web 的空间数据仓库具有怎样的性能和可扩展性特征？
• RQ4 标准 Web 浏览器在多大程度上可作为交互式地理空间图像探索的可行接口？
• RQ5 在公开可访问的大规模空间数据仓库中，会呈现出怎样的运营和使用模式？

主要发现

• 系统在一年的运行中成功通过互联网传输了超过 20 TB 的图像数据。
• 系统实现了超过 20 亿次网页访问，表明用户需求旺盛且系统具备良好的可扩展性。
• 将原始地理空间图像转换为面向 Web 优化的瓦片，实现了在标准 Web 浏览器中的高效渐进式加载。
• 使用标准 SQL 数据库存储元数据和瓦片引用，被证明在管理与查询大规模空间数据方面非常有效。
• 系统表明，Web 浏览器可作为地理空间图像访问的实用且直观的接口，无需专用软件。
• 运营结果证实，关系型数据库技术能够支持大规模、高并发的空间数据仓库工作负载。