[論文レビュー] A Survey on Sampling and Profiling over Big Data (Technical Report)

Zhicheng Liu, Aoqian Zhang|arXiv (Cornell University)|May 8, 2020

Data Quality and Management参考文献 120被引用数 5

ひとこと要約

本調査は、ビッグデータ環境におけるデータプロファイリングの高速化を目的としたサンプリング技術を調査し、代表的サンプリングが全データ分析と同等の結果をもたらす一方で、計算コストを著しく削減できることを示している。関係データ、時系列データ、グラフデータのプロファイリングタスクにおいてサンプリングを評価した結果、サンプルからの近似結果は効率的かつ正確であることが判明し、スケーラブルなビッグデータ処理においてサンプリングが不可欠であることが位置づけられた。

ABSTRACT

Due to the development of internet technology and computer science, data is exploding at an exponential rate. Big data brings us new opportunities and challenges. On the one hand, we can analyze and mine big data to discover hidden information and get more potential value. On the other hand, the 5V characteristic of big data, especially Volume which means large amount of data, brings challenges to storage and processing. For some traditional data mining algorithms, machine learning algorithms and data profiling tasks, it is very difficult to handle such a large amount of data. The large amount of data is highly demanding hardware resources and time consuming. Sampling methods can effectively reduce the amount of data and help speed up data processing. Hence, sampling technology has been widely studied and used in big data context, e.g., methods for determining sample size, combining sampling with big data processing frameworks. Data profiling is the activity that finds metadata of data set and has many use cases, e.g., performing data profiling tasks on relational data, graph data, and time series data for anomaly detection and data repair. However, data profiling is computationally expensive, especially for large data sets. Therefore, this paper focuses on researching sampling and profiling in big data context and investigates the application of sampling in different categories of data profiling tasks. From the experimental results of these studies, the results got from the sampled data are close to or even exceed the results of the full amount of data. Therefore, sampling technology plays an important role in the era of big data, and we also have reason to believe that sampling technology will become an indispensable step in big data processing in the future.

研究の動機と目的

• ビッグデータの5V特性（特にボリューム）に起因する、大規模データセットのプロファイリングにおける計算不能性に対処する。
• データプロファイリングタスクにおいて、正確性を維持しつつデータサイズを縮小するためのサンプリングの有効性を調査する。
• 関係データ、時系列データ、グラフデータなど、プロファイリングが計算的に高コストとなる多様なデータタイプにおけるサンプリングの応用を検討する。
• 特に時系列データおよびグラフデータにおけるサンプリングベースのプロファイリングの欠落している点を特定し、今後の研究方向性を提案する。
• 結果の品質を損なわず効率を向上させるために、サンプリングをビッグデータパイプラインにおける重要な前処理ステップとして確立する。

提案手法

• Hadoop、Spark、Storm、Flink などのビッグデータフレームワークとの統合を含め、ビッグデータに適した既存のサンプリング手法（ブロックレベルサンプリング、ランダムウォークベース手法など）を調査・分類する。
• Hadoop、Spark、Storm、Flink などのビッグデータフレームワークとの統合を分析し、スケーラブルな処理を可能にする。
• 単一カラムプロファイリング、マルチカラムプロファイリング、依存関係の同定という異なるデータプロファイリングタスクにおけるサンプリング戦略を評価する。
• 速度分布や分位数の近似計算に注目し、時系列データにおけるサンプリングのパフォーマンスを評価する。
• 構造的性質を保持するためのグラフサンプリング技術（例：「フォレストファイア」法、ランダムウォーク）を調査し、プロファイリングタスクへの応用を検討する。
• 特に依存関係の同定（例：マッチング依存関係、関数的依存関係）におけるペアワイズ比較のオーバーヘッドを低減するための、異種データに対するサンプリング戦略を提案する。

実験結果

リサーチクエスチョン

• RQ1 ビッグデータにおけるデータプロファイリングの計算コストを、結果の正確性に著しい影響を与えることなく、どのように低減できるか？
• RQ2 関係データ、時系列データ、グラフデータの文脈において、データプロファイリングに最も効果的なサンプリング手法は何か？
• RQ3 サンプリングバイアスはプロファイリング結果の信頼性にどのように影響するか？ また、その影響を最小限に抑えるにはどうすればよいか？
• RQ4 サンプリングをどのようにビッグデータ処理フレームワークに統合することで、スケーラビリティが向上するか？
• RQ5 異種データに含まれる複雑な依存関係を含むプロファイリングタスクにサンプリングを適用する際の主な課題は何か？

主な発見

• サンプリング手法は、特に処理速度と効率性の観点から、全データ処理で得られる結果と同等、あるいはそれを上回る結果をもたらす。
• 時系列データでは、速度の確率分布などの近似結果が異常検知に十分であり、サンプリングによって効率的に計算可能である。
• ランダムウォークや「フォレストファイア」法を用いたグラフサンプリングにより、元のグラフサイズのわずか15％程度で構造的性質を保持できる。
• 依存関係の同定（例：マッチング依存関係）におけるペアワイズ比較は計算コストが高く、高いサンプリングレートを採用することで関連するペアを捉える可能性が高まる。
• Spark や Hadoop などのビッグデータフレームワークとサンプリングを統合することで、大規模データセットのスケーラブルかつ効率的なプロファイリングが可能になる。
• 一方で、グラフデータおよび時系列データにおけるサンプリングベースのプロファイリングに関する研究は限定的であり、今後の研究において大きな余地があることが示唆された。