[논문 리뷰] Microsoft TerraServer: A Spatial Data Warehouse

Tom Barclay Jim Gray Don Slutz|ArXiv.org|1999. 07. 09.

Data Management and Algorithms참고 문헌 2인용 수 11

한 줄 요약

Microsoft TerraServer는 웹 기반 SQL 데이터베이스를 통해 항공사진, 인공위성 및 지형 영상 테라바이트 단위의 공간 데이터를 저장하고 제공하는 확장 가능한 공간 데이터 웨어하우스를 제안한다. '인터넷 친화적이지 않은' 지오스페이셜 이미지를 수백만 개의 '인터넷 친화적인' 타일로 변환함으로써, 표준 웹 브라우저를 통한 원활한 액세스를 가능하게 하였으며, 한 해 동안 200억 건이 넘는 웹 히트와 20테라바이트의 데이터를 제공하여 관계형 데이터베이스가 대규모 지오스페이셜 데이터 관리에 실현 가능하다는 것을 입증한다.

ABSTRACT

The TerraServer stores aerial, satellite, and topographic images of the earth in a SQL database available via the Internet. It is the world's largest online atlas, combining five terabytes of image data from the United States Geological Survey (USGS) and SPIN-2. This report describes the system-redesign based on our experience over the last year. It also reports usage and operations results over the last year -- over 2 billion web hits and over 20 Terabytes of imagry served over the Internet. Internet browsers provide intuitive spatial and text interfaces to the data. Users need no special hardware, software, or knowledge to locate and browse imagery. This paper describes how terabytes of "Internet unfriendly" geo-spatial images were scrubbed and edited into hundreds of millions of "Internet friendly" image tiles and loaded into a SQL data warehouse. Microsoft TerraServer demonstrates that general-purpose relational database technology can manage large scale image repositories, and shows that web browsers can be a good geospatial image presentation system.

연구 동기 및 목표

• 지오스페이셜 영상용 대규모 웹 액세스 가능한 공간 데이터 웨어하우스를 설계하고 구현하기.
• 인터넷에 적합하지 않은 대규모 지오스페이셜 영상의 제공 문제를 해결하기 위해, 이를 더 작은 웹 최적화 타일로 변환함으로써 해결하기.
• 일반 목적의 관계형 데이터베이스 시스템이 웹을 통해 테라바이트 규모의 영상 저장소를 효율적으로 관리하고 제공할 수 있음을 입증하기.
• 특수 소프트웨어나 하드웨어 없이 표준 웹 브라우저만으로 고해상도 지구 영상에 대한 보편적 액세스를 가능하게 하기.
• 실제 운영 환경에서의 시스템 성능, 확장성 및 사용자 액세스 패턴을 평가하기.

제안 방법

• 미국지질조사국(USGS) 및 SPIN-2의 이미지가 수집되어 웹 전송에 효율적인 계층적 타일링 구조로 사전 처리되었다.
• 각 대규모 이미지는 웹 전송과 점진적 로딩에 최적화된 고정 크기의 타일로 분할되었다.
• 메타데이터와 타일 위치 정보를 저장하기 위한 관계형 데이터베이스 스키마가 설계되어, 공간적 및 텍스트 기반 검색을 위한 SQL 기반 쿼리가 가능해졌다.
• 시스템은 표준 웹 프로토콜(HTTP)과 브라우저 기반 인터페이스를 사용하여 사용자에게 직접 영상을 제공하였다.
• 웹 표준 및 클라이언트 측 렌더링과의 호환성을 확보하기 위해 이미지 스트로브링 및 포맷 변환이 적용되었다.
• 고병렬 액세스를 지원하기 위해 아키텍처가 설계되었으며, 성능 향상을 위한 로드 밸런싱 및 캐싱 전략이 적용되었다.

실험 결과

연구 질문

• RQ1 일반 목적의 관계형 데이터베이스 시스템이 웹을 통해 테라바이트 규모의 공간 영상 저장소를 효과적으로 관리하고 제공할 수 있는가?
• RQ2 대규모이고 '인터넷에 적합하지 않은' 지오스페이셜 영상을 어떻게 효율적인 웹 전송에 적합한 형식으로 변환할 수 있는가?
• RQ3 실제 사용자 워크로드 하에서 웹 기반 공간 데이터 웨어하우스의 성능 및 확장성 특성은 어떠한가?
• RQ4 표준 웹 브라우저가 상호작용 가능한 지오스페이셜 영상 탐색을 위한 실질적인 인터페이스로 얼마나 유용한가?
• RQ5 공개 가능한 대규모 공간 데이터 웨어하우스에서 도출되는 운영 및 사용 패턴은 무엇인가?

주요 결과

• 시스템은 운영 1년 만에 인터넷을 통해 20테라바이트 이상의 영상 데이터를 성공적으로 제공하였다.
• 20억 건이 넘는 웹 히트를 기록하여 높은 사용자 수요와 시스템의 확장성을 입증하였다.
• 원시 지오스페이셜 영상을 웹 최적화 타일로 변환함으로써 표준 웹 브라우저에서 효율적이고 점진적인 로딩이 가능해졌다.
• 메타데이터와 타일 참조를 저장하기 위해 표준 SQL 데이터베이스를 사용한 결과, 대규모 지오스페이셜 데이터의 관리 및 쿼리에 효과적이었다.
• 시스템은 웹 브라우저가 특수 소프트웨어 없이도 지오스페이셜 영상 액세스를 위한 실용적이고 직관적인 인터페이스로 기능할 수 있음을 입증하였다.
• 운영 결과는 관계형 데이터베이스 기술이 대규모 고병렬 공간 데이터 웨어하우스 워크로드를 지원할 수 있음을 확인하였다.