[論文レビュー] A Measure of Transaction Processing 20 Years Later

Jim Gray|ArXiv.org|Jan 25, 2007

Advanced Data Storage Technologies参考文献 3被引用数 6

ひとこと要約

この論文は、1985年のジム・グレイによるトランザクション処理ベンチマークを再評価し、データベースシステムにおける20年間の進歩を分析している。トランザクション処理のパフォーマンスとパフォーマンス/コスト比は約100,000倍向上したが、1995年以降にプロセッサ性能が頭打止めとなったにもかかわらず、ソートおよび順次I/O性能は100万倍向上した。これは、CPUの性能向上を超える、アーキテクチャ的およびシステムレベルのイノベーションの重要性を示している。

ABSTRACT

This provides a retrospective of the paper "A Measure of Transaction Processing" published in 1985. It shows that transaction processing peak performance and price-peformance have improved about 100,000x respectively and that sort/sequential performance has approximately doubled each year (so a million fold improvement) even though processor performance plateaued in 1995.

研究の動機と目的

• 1985年の元のTPCベンチマークから20年間のトランザクション処理パフォーマンスの進化を評価すること。
• 1995年以降にプロセッサ性能の成長が止まった状況下でも、データベースシステムのスループットとコスト効率の向上割合を評価すること。
• データベースワークロードに重要な役割を果たすソートおよび順次I/O操作のパフォーマンストレンドを分析すること。
• プロセッサスケーリングの制限がある中でも継続的なパフォーマンス向上を可能にした、主にシステムレベルおよびアーキテクチャ的イノベーションを同定すること。
• ソフトウェア、ストレージ、システム設計がプロセッサの性能向上に比べてどれほど重要であるかを強調する歴史的視点を提供すること。

提案手法

• 論文は、特にTPC-Cおよび関連メトリクスに焦点を当てたTPC（トランザクション処理パフォーマンス評価委員会）ベンチマークの回顧的分析を実施している。
• 1985年のTPCベンチマークから2005年の現代のシステムまでの、標準化されたワークロード測定に基づくパフォーマンスおよびコストメトリクスを比較している。
• パフォーマンストレンドは、トランザクションスループット、パフォーマンス/コスト比、およびI/Oパフォーマンス（ソートおよび順次アクセス）の複数の次元で評価されている。
• CPUスケーリングの影響と、メモリ階層、ストレージ技術、並列処理などのその他のシステムレベルの改善要因の影響を分離して分析している。
• プロセッサ性能の歴史的データを用いて、CPU速度のトレンドと実際のアプリケーションレベルのパフォーマンス向上の差を対比している。
• 本研究は、公開済みのTPCベンチマーク結果およびシステム仕様を用いて、時間経過に伴う絶対的パフォーマンスおよびコスト効率の向上を定量的に評価している。

実験結果

リサーチクエスチョン

• RQ1 1985年の元のTPCベンチマーク導入から20年間で、トランザクション処理パフォーマンスはどのように変化したか？
• RQ2 データベースシステムにおけるパフォーマンス/コスト比はどの程度向上したのか。その要因は何であったか？
• RQ3 1995年以降にプロセッサ性能が頭打止めとなったにもかかわらず、なぜI/Oパフォーマンス（ソートおよび順次操作）がこれほど劇的に向上したのか？
• RQ4 CPUスケーリングの鈍化が続く中で、システムアーキテクチャおよびストレージ技術は、パフォーマンス向上にどのように寄与しているのか？
• RQ5 データベースシステムのパフォーマンストレンドは、ムーアの法則や従来のハードウェアスケーリングの期待とどのように比較できるか？

主な発見

• 1985年のTPCベンチマークから2005年までの20年間で、トランザクション処理のピークパフォーマンスとパフォーマンス/コスト比は約100,000倍向上した。
• ソートおよび順次I/Oパフォーマンスは約100万倍向上し、概ね年間2倍のペースで指数的成長を示しており、ストレージおよびシステムレベルの効率性向上を示している。
• 1995年以降にプロセッサ性能が頭打止めとなったにもかかわらず、アーキテクチャ的およびストレージのイノベーションのおかげで、全体的なデータベースシステムのパフォーマンスは著しく向上を続けた。
• パフォーマンス向上の大部分は、より高速なプロセッサのおかげではなく、メモリ帯域幅、ディスクI/O、並列処理、システムソフトウェア最適化の改善によるものであった。
• 本研究は、システムレベルのエンジニアリングおよびストレージ技術が、CPUスケーリングを上回る、データベースパフォーマンスの主な駆動要因となったことを確認している。
• 今後のデータベースシステムのパフォーマンス向上は、単一スレッドのプロセッサ向上に依存するのではなく、包括的なシステム設計に依存するようになるだろうという示唆が得られた。