[논문 리뷰] TerraServer SAN-Cluster Architecture and Operations Experience

Thomas Barclay, Jim Gray|ArXiv.org|2005. 02. 02.

Advanced Computational Techniques and Applications참고 문헌 8인용 수 6

한 줄 요약

이 논문은 17TB의 지리공간 영상 자료를 웹 기반으로 제공하기 위해 Windows와 SQL Server를 기반으로 한 PC 기반의 SAN 클러스터 시스템인 마이크로소프트 테라서버의 설계 및 운영 경험을 제시한다. 18TB의 스토리지 영역 네트워크(SAN)에 연결된 4노드의 액티브/패스브로드 클러스터는 하드웨어 측면에서 네 9의 가용성을 달성했지만, 운영 오류로 인해 실제 가용성은 세 9로 제한되어 인간 요소가 시스템 신뢰성에 미치는 중요성을 입증한다.

ABSTRACT

Microsoft TerraServer displays aerial, satellite, and to-pographic images of the earth in a SQL database available via the Internet. It is one of the most popular online at-lases, presenting seventeen terabytes of image data from the United States Geological Survey (USGS). Initially de-ployed in 1998, the system demonstrated the scalability of PC hardware and software - Windows and SQL Server - on a single, mainframe-class processor. In September 2000, the back-end database application was migrated to 4-node active/passive cluster connected to an 18 terabyte Storage Area Network (SAN). The new configuration was designed to achieve 99.99% availability for the back-end application. This paper describes the hardware and software components of the TerraServer Cluster and SAN, and describes our experience in configuring and operating this system for three years. Not surprisingly, the hardware and architecture delivered better than four-9's of availability, but operations mistakes delivered three-9's.

연구 동기 및 목표

• 웹 기반으로 대규모 지리공간 영상 자료를 제공하기 위한 확장성 있고 고가용성 스토리지 및 데이터베이스 시스템을 설계하고 구현하기.
• 컴modity PC 하드웨어와 소프트웨어(Windows, SQL Server)를 사용해 메인프레임 수준의 신뢰성과 성능을 달성할 수 있는지 평가하기.
• 3년간의 생산 환경에서 SAN 클러스터 시스템을 운영하면서 겪은 운영 과제와 학습한 바를 문서화하기.
• 운영 오류로 인해 이론적 하드웨어 가용성과 실제 시스템 가용성 사이의 격차를 분석하기.

제안 방법

• 중앙집중식 공유 스토리지용 18TB 스토리지 영역 네트워크(SAN)에 연결된 4노드 액티브/패스브로드 클러스터 아키텍처를 구축하여 운영.
• 17TB의 항공 및 위성 영상 자료를 관리하고 제공하기 위해 마이크로소프트 SQL Server와 Windows를 핵심 소프트웨어 스택으로 사용.
• 고가용성 메커니즘으로 장애 복구 클러스터링과 부품의 이중화를 구현하여 99.99% 가동 시간을 확보.
• 인터넷 사용자가 지리공간 데이터에 SQL 기반 쿼리를 통해 동시에 액세스할 수 있도록 시스템을 구성.
• 신뢰성 평가를 위해 3년간의 운영 기간 동안 시스템 성능과 가용성을 모니터링.
• 구현 후 분석을 통해 하드웨어 내구성과 운영 사고 간의 상관관계를 분석.

실험 결과

연구 질문

• RQ1 컴modity PC 하드웨어와 소프트웨어가 대규모 공개 데이터베이스 시스템에서 메인프레임 수준의 신뢰성을 달성할 수 있는가?
• RQ2 테라바이트 수준의 데이터를 고가용성으로 스케일링하기 위해 필요한 주요 아키텍처 구성 요소는 무엇인가?
• RQ3 운영 오류는 생산 환경의 SAN 클러스터 환경에서 시스템 가용성에 어떤 영향을 미치는가?
• RQ4 실제 운영 환경에서 이론적 하드웨어 가용성과 실제 운영 가동 시간 사이의 격차는 무엇인가?
• RQ5 3년간의 고가용성 PC 기반 SAN 클러스터 시스템 운영에서 무엇을 배울 수 있는가?

주요 결과

• 하드웨어 및 아키텍처 설계는 네 9(99.99%) 이상의 가용성을 달성하여 시스템의 고가용성 목표를 충족시켰다.
• 구성 오류 및 인간 간섭 실패 등의 운영 오류로 인해 실제 시스템 가용성이 약 세 9(99.9%)로 감소했다.
• 시스템은 미 국토조사국(USGS)의 17TB 지리공간 영상 자료를 인터넷 사용자에게 SQL 쿼리를 통해 성공적으로 제공하여 PC 기반 시스템의 확장성을 입증했다.
• SAN 클러스터 아키텍처는 효율적인 데이터 공유와 중복성을 가능하게 하여 4노드 클러스터 전반에 걸친 신뢰성 있는 장애 복구를 지원했다.
• 운영 경험을 통해 하드웨어의 내구성은 높았지만, 인간 요소가 다운타임의 주요 원인임을 확인했다.
• 논문은 운영 철학과 절차의 엄격함이 아키텍처 설계만큼 고가용성 달성에 핵심적임을 결론 내린다.