[論文レビュー] TerraServer SAN-Cluster Architecture and Operations Experience

Thomas Barclay, Jim Gray|ArXiv.org|Feb 2, 2005

Advanced Computational Techniques and Applications参考文献 8被引用数 6

ひとこと要約

本論文は、17テラバイトの地理空間画像を提供するため、WindowsおよびSQL Serverを基盤とする、PCベースのSANクラスターシステムとしてのMicrosoftのTerraServerの設計および運用経験を提示する。4ノードのアクティブ/パasiveクラスタは18テラバイトのストレージ・エリア・ネットワーク（SAN）に接続されており、ハードウェア上では4つの9（99.99％）以上の可用性を達成したが、運用上の誤りが実際の稼働時間を3つの9（99.9％）に制限した。これは、システムの信頼性において人的要因が極めて重要な役割を果たしていることを示している。

ABSTRACT

Microsoft TerraServer displays aerial, satellite, and to-pographic images of the earth in a SQL database available via the Internet. It is one of the most popular online at-lases, presenting seventeen terabytes of image data from the United States Geological Survey (USGS). Initially de-ployed in 1998, the system demonstrated the scalability of PC hardware and software - Windows and SQL Server - on a single, mainframe-class processor. In September 2000, the back-end database application was migrated to 4-node active/passive cluster connected to an 18 terabyte Storage Area Network (SAN). The new configuration was designed to achieve 99.99% availability for the back-end application. This paper describes the hardware and software components of the TerraServer Cluster and SAN, and describes our experience in configuring and operating this system for three years. Not surprisingly, the hardware and architecture delivered better than four-9's of availability, but operations mistakes delivered three-9's.

研究の動機と目的

• Web上で大規模な地理空間画像を提供するためのスケーラブルで高可用性のストレージおよびデータベースシステムを設計・展開すること。
• コンmodity PCハードウェアおよびソフトウェア（Windows、SQL Server）を用いてメインフレームクラスの信頼性とパフォーマンスを達成できるかどうかを評価すること。
• 3年間にわたり本番環境で運用されたSANクラスターシステムの運用上の課題と学びを文書化すること。
• 運用上の誤りによって生じる理論上のハードウェア可用性と実際のシステム可用性のギャップを分析すること。

提案手法

• 18テラバイトのストレージ・エリア・ネットワーク（SAN）に接続された4ノードのアクティブ/パasiveクラスターアーキテクチャを導入し、集中型で共有可能なストレージを実現した。
• 17テラバイトの航空写真および衛星画像を管理・提供するためのコアソフトウェアスタックとして、Microsoft SQL ServerとWindowsを採用した。
• フェイルオーバークラスタリングや冗長なコンponentsを実装することで、99.99％の稼働率を確保する高可用性メカニズムを構築した。
• インターネットユーザーが地理空間データに対してSQLベースのクエリを実行できるように、同時にアクセスをサポートする構成とした。
• 信頼性を評価するために、3年間にわたりシステムのパフォーマンスおよび可用性を監視した。
• 導入後の分析を通じて、ハードウェアの耐障害性と運用上のインcidnetの相関関係を調査した。

実験結果

リサーチクエスチョン

• RQ1 コンmodity PCハードウェアおよびソフトウェアは、大規模で公開可能なデータベースシステムにおいてメインフレームクラスの信頼性を達成できるか？
• RQ2 テラバイト規模のデータを扱いながら高可用性を実現するための地理空間画像データベースに必要な主要なアーキテクチャ的要素は何か？
• RQ3 運用上の誤りは、本番環境のSANクラスターシステムにおけるシステム可用性にどのように影響を与えるか？
• RQ4 実際の展開において、理論上のハードウェア可用性と実際の運用稼働時間のギャップは何か？
• RQ5 3年間にわたり高可用性でPCベースのSANクラスターシステムを運用した経験から、何を学べるか？

主な発見

• ハードウェアおよびアーキテクチャ設計により、4つの9（99.99％）以上の可用性が達成され、システムの高可用性目標を満たした。
• 運用上の誤り——構成ミスや人的要因による障害対応の失敗——により、実際のシステム可用性は約3つの9（99.9％）に低下した。
• 本システムは、米国地質調査所（USGS）の17テラバイトの地理空間画像を、インターネットユーザーがSQLクエリでアクセスできる形で効果的に提供した。これは、PCベースのシステムのスケーラビリティを実証した。
• SANクラスターアーキテクチャにより、効率的なデータ共有とレプリケーションが可能になり、4ノードのクラスタ内で信頼性の高いフェイルオーバーが実現された。
• 運用経験から、ハードウェアの信頼性は高かったが、システムダウンの主な要因は人的要因であったことが明らかになった。
• 本論文は、高可用性を達成するには、アーキテクチャ設計と同様に運用の規律とプロセスの厳密さが不可欠であると結論づけている。