[論文レビュー] Column-Oriented Storage Techniques for MapReduce

Avrilia Floratou, Jignesh M. Patel+2 more|arXiv (Cornell University)|May 21, 2011

Cloud Computing and Resource Management参考文献 15被引用数 5

ひとこと要約

この論文は、MapReduceのプログラミングモデルを保ちながら統合可能なHadoop向けのカラム指向ストレージフォーマットを提案する。バイナリシリアル化、新規のスキップリストカラムフォーマット、および遅延レコード構築の活用により、実ワークロードにおいてマップフェーズで最大100倍の性能向上を達成し、複雑なネスト型の不要な逆シリアル化を回避することで1.5倍の高速化を実現した。

ABSTRACT

Users of MapReduce often run into performance problems when they scale up their workloads. Many of the problems they encounter can be overcome by applying techniques learned from over three decades of research on parallel DBMSs. However, translating these techniques to a MapReduce implementation such as Hadoop presents unique challenges that can lead to new design choices. This paper describes how column-oriented storage techniques can be incorporated in Hadoop in a way that preserves its popular programming APIs. We show that simply using binary storage formats in Hadoop can provide a 3x performance boost over the naive use of text files. We then introduce a column-oriented storage format that is compatible with the replication and scheduling constraints of Hadoop and show that it can speed up MapReduce jobs on real workloads by an order of magnitude. We also show that dealing with complex column types such as arrays, maps, and nested records, which are common in MapReduce jobs, can incur significant CPU overhead. Finally, we introduce a novel skip list column format and lazy record construction strategy that avoids deserializing unwanted records to provide an additional 1.5x performance boost. Experiments on a real intranet crawl are used to show that our column-oriented storage techniques can improve the performance of the map phase in Hadoop by as much as two orders of magnitude.

研究の動機と目的

• 非効率なストレージとI/Oが原因で生じる大規模なMapReduceワークロードにおける性能ボトルネックを解消すること。
• Hadoopの実行モデルを変更せずに、並列DBMSから得られるカラムストレージ技術をHadoopに適応させること。
• 分散環境において、配列、マップ、ネストされたレコードなどの複雑なカラム型を効率的にサポートすること。
• 複雑なデータ構造における未使用レコードの逆シリアル化に起因するCPUオーバーヘッドを最小限に抑えること。
• Hadoopのレプリケーションおよびスケジューリング制約と互換性を持つストレージフォーマットを設計すること。

提案手法

• テキストファイルではなくバイナリストレージフォーマットを採用することで、I/Oおよびパースのオーバーヘッドを削減すること。
• Hadoopのデータレプリケーションおよびタスクスケジューリングメカニズムと整合するカラム指向ストレージフォーマットを設計すること。
• 述語プッシュダウンおよびインデックスオンliyスキャンを高速化するため、スキップリストベースのカラムフォーマットを導入すること。
• フィールドが実際にアクセスされるまで逆シリアル化を延期する遅延レコード構築戦略を実装すること。
• 配列、マップ、ネストされたレコードなどの複雑な型を、ランタイムコストを最小限に抑えてサポートするようにフォーマットを拡張すること。
• 従来のMapReduce APIおよびHadoopの実行モデルと完全な後方互換性を確保すること。

実験結果

リサーチクエスチョン

• RQ1 プログラミングモデルを変更せずに、カラム指向ストレージがMapReduceの性能を向上させられるか？
• RQ2 大規模ワークロードにおいて、バイナリシリアル化はテキストベースのフォーマットと比較してI/OおよびCPU効率にどの程度優れるか？
• RQ3 カラムストレージとスキップリスト、および遅延逆シリアル化を組み合わせることで、どの程度の性能向上が達成できるか？
• RQ4 配列やネストされたレコードのような複雑なデータ型は、カラムストレージフォーマットにおけるCPUオーバーヘッドにどの程度影響を与えるか？
• RQ5 述語プッシュダウンおよび選択的フィールドアクセスは、マップフェーズにおける処理時間をどの程度短縮できるか？

主な発見

• バイナリストレージフォーマットを単独で採用するだけで、Hadoopにおける単純なテキストベースのストレージと比較して3倍の性能向上が達成された。
• 提案されたカラム指向ストレージフォーマットにより、実世界のMapReduceジョブが最大10倍（10倍）の速度向上を達成した。
• スキップリストカラムフォーマットと遅延レコード構築戦略により、不要な逆シリアル化を回避することで、追加で1.5倍の性能向上が得られた。
• バイナリフォーマット、カラムレイアウト、および遅延処理の組み合わせにより、実社内クロールワークロードにおいてマップフェーズの実行時間が最大2桁（100倍）短縮された。
• 配列やネストされたレコードのような複雑なカラム型は顕著なCPUオーバーヘッドを引き起こすが、選択的逆シリアル化によってこれを軽減できた。
• このストレージフォーマットは、Hadoopのレプリケーションおよびスケジューリング制約と完全に互換性があり、既存のクラスタへのシームレスな統合が可能である。