[論文レビュー] Monoidify! Monoids as a Design Principle for Efficient MapReduce Algorithms

Jimmy Lin|arXiv (Cornell University)|Apr 29, 2013

Data Mining Algorithms and Applications参考文献 6被引用数 6

ひとこと要約

この論文は、結合則を活用して安全かつ効果的なローカル集約をコンバイナーやインマッパー結合によって可能にするために、マップリダースュの効率的アルゴリズムの統一的設計原則としてモノイドを提案する。平均化のような演算が部分的集約下でも正しさを保つように、和とカウントのペアとしてのモノイドベースの計算に変換できることを示しており、ネットワークI/Oを顕著に削減し、バッチ処理とストリーミング処理の両方の最適化を可能にする。

ABSTRACT

It is well known that since the sort/shuffle stage in MapReduce is costly, local aggregation is one important principle to designing efficient algorithms. This short paper represents an attempt to more clearly articulate this design principle in terms of monoids, which generalizes the use of combiners and the in-mapper combining pattern.

研究の動機と目的

• 『コンバイナーを使用する』といった曖昧な助言を越えて、正確で再利用可能な設計原則を形式化すること。
• 平均化のような演算の非結合性に起因する根本的問題、すなわち『平均の平均』のようなナーブな集約が正しくないという問題を解決すること。
• 非結合的演算（例：平均）をモノイドベースの計算（例：和とカウントのペア）に変換することで、正しくかつ効率的なローカル集約が可能になることを示すこと。
• モノイド構造がバッチ処理（Hadoop）とストリーミング処理（Summingbird）の両方を自然にサポートでき、統一された状態管理を可能にすること。
• モノイドを用いた教育的価値を検討し、代数的構造に基づく最適化の枠組みを提示すること。

提案手法

• 平均化という非結合的演算を、それぞれ加法に関してモノイドを形成する『和』と『カウント』のペアに変換する。
• マッパーが (key, (value, 1)) のペアを出力する。ここで value はデータポイント、1 はカウントである。
• シャッフルの前に、各キーについて和とカウントの値をローカルに集約するため、コンバイナーやインマッパー結合を適用する。
• リデューサーが、合計和 / 合計カウントとして最終的な平均を計算し、和とカウントの結合則のおかげで正しさを保つ。
• 結合的配列、ブルームフィルター、カウントミンスケッチ、ハイパーログロッグカウンターがすべて、要素ごとの和または結合演算に関してモノイドであることに着目する。
• 実行フレームワークが中間値の型にモノイド型を認識することで、モノイドに配慮した最適化を自動的に適用できるように提案する。

実験結果

リサーチクエスチョン

• RQ1 モノイドは、正しいかつ効率的なマップリダースュアルゴリズムを構築するための原理的で形式的な設計パターンとして機能できるか？
• RQ2 なぜ標準的なコンバイナーは平均化のような演算では失敗するのか？そして、これを形式的に診断する方法は何か？
• RQ3 非結合的演算（例：平均）をモノイドの合成によって結合的なものに変換する方法は何か？
• RQ4 モノイドベースの設計は、バッチ処理とストリーミング処理の間でのシームレスな統合をどの程度可能にするか？
• RQ5 モノイド化の概念は、マップリダースュアルゴリズム設計の教育的価値を有するか？

主な発見

• 平均演算は結合的ではないため、部分集合の平均の平均を計算すると誤った結果が得られ、ナーブなコンバイナーの使用が無効になる。
• 各値を (和, カウント) のペアとして表現することで、アルゴリズムは部分的集約下でも結合的かつ正しいものとなり、コンバイナーの安全な使用が可能になる。
• アルゴリズム4におけるインマッパー結合パターンにより、出力前にメモリ上ですでに和とカウントを集約することで、ネットワークI/Oが削減され、パフォーマンスが向上する。
• 結合的配列、ブルームフィルター、ハイパーログロッグカウンターといったモノイドは、要素ごとの和または結合演算に関してネイティブにモノイド的であるため、効率的な分散計算が可能になる。
• Summingbirdプロジェクトは、同じモノイドベースの状態表現を再利用することで、バッチ処理とストリーミング処理を統一的に扱っている。
• 本論文は、モノイド化がスケーラブルなデータ処理のための強力で再利用可能な原則であると結論づけるが、その教育的価値についてはさらなる実証的検証が必要であると述べる。