[論文レビュー] Navigating the Data Lake with Datamaran: Automatically Extracting Structure from Log Datasets

Yihan Gao, Silu Huang+1 more|arXiv (Cornell University)|Aug 29, 2017

Web Data Mining and Analysis参考文献 27被引用数 4

ひとこと要約

Datamaran は、レコード構造の事前知識が不要な非教師ありツールであり、半構造化ログデータセットからフィールドおよびレコードの境界を特定することで、構造化された関係データを自動で抽出する。テンプレート生成、統合スコアリング、反復的精錬を組み合わせることで、複数行レコードやノイズの多いフォーマットに対応し、GitHub ログデータセットで 95.5% の抽出精度を達成。これは従来の非教師あり手法よりも 66% 高い性能である。

ABSTRACT

Organizations routinely accumulate semi-structured log datasets generated as the output of code; these datasets remain unused and uninterpreted, and occupy wasted space - this phenomenon has been colloquially referred to as "data lake" problem. One approach to leverage these semi-structured datasets is to convert them into a structured relational format, following which they can be analyzed in conjunction with other datasets. We present Datamaran, an tool that extracts structure from semi-structured log datasets with no human supervision. Datamaran automatically identifies field and record endpoints, separates the structured parts from the unstructured noise or formatting, and can tease apart multiple structures from within a dataset, in order to efficiently extract structured relational datasets from semi-structured log datasets, at scale with high accuracy. Compared to other unsupervised log dataset extraction tools developed in prior work, Datamaran does not require the record boundaries to be known beforehand, making it much more applicable to the noisy log files that are ubiquitous in data lakes. Datamaran can successfully extract structured information from all datasets used in prior work, and can achieve 95% extraction accuracy on automatically collected log datasets from GitHub - a substantial 66% increase of accuracy compared to unsupervised schemes from prior work. Our user study further demonstrates that the extraction results of Datamaran are closer to the desired structure than competing algorithms.

研究の動機と目的

• 膨大な量の半構造化ログデータセットが、構造がないため未利用のまま放置される「データレイク」問題に対処する。
• 既存の非教師ありログ抽出ツールがレコード境界を事前に知っている必要がある、または単一の行レコードを仮定しているという制限を克服する。
• 下流の分析に向けた、完全自動的かつスケーラブルで高精度な、生ログファイルから構造化されたリレーショナル形式への変換を可能にする。
• 1 つのデータセット内で多様な構造を持つ複数のレコードタイプを扱える、耐障害性の高いソリューションを提供する。
• 定量的ベンチマークとユーザースタディーの両面で、RecordBreaker や従来の非教師ありラッパーと比較して優れた性能と使いやすさを示す。

提案手法

• 人間の判断と整合性を持つ正規性スコア関数を用いて、構造抽出を最適化問題として定式化する。
• 最低限のカバレッジ閾値を満たす繰り返しパターンを特定することで、候補となる構造テンプレートを生成する。
• 統合スコア関数を用いたプリーニング段階を実施し、最も整合性が高く一貫性のあるテンプレートを順位付け・フィルタリングする。
• 残存するテンプレートの反復的評価と精錬を実施し、構造の正確性と一貫性を向上させる。
• 外部のチャンク分割やタグ付けに依存せずに、行単位の分析を活用してフィールドおよびレコードの境界を特定する。
• 1 つのデータセット内で複数の構造を検出可能であり、同じログファイルから複数の異なるレコードタイプを抽出可能である。

実験結果

リサーチクエスチョン

• RQ1 非教師ありシステムは、レコード境界の事前知識がなくても、半構造化ログファイルから構造化された関係データを自動で抽出できるか？
• RQ2 複雑で複数行、ノイズの多いフォーマットを持つ実世界のログデータセットにおいて、Datamaran は従来の非教師ありツールと比較してどの程度の構造抽出効果を示すか？
• RQ3 ユーザースタディーを通じて検証された結果、Datamaran の出力は人間の期待するデータ構造とどの程度一致するか？
• RQ4 Datamaran は、企業のデータレイクに見られる多様なログフォーマットやパラメータの変動に対して、どの程度耐性を示すか？
• RQ5 Datamaran は 1 つのログファイル内で複数の異なるデータ構造を検出し、抽出できるか？これにより、より包括的なデータ発見が可能になるか？

主な発見

• Datamaran は、広範な GitHub ログデータセットの集まりで 95.5% の抽出精度を達成し、従来の非教師あり手法よりも 66% の改善を示した。
• 本研究で使用された代表的なデータセットすべてに対して、Datamaran は構造を正常に抽出した。これは、広範な適用可能性を示している。
• ユーザースタディーにおいて、6 名の参加者の全員が Datamaran の出力結果を RecordBreaker や生ログファイルよりも好んだ。これは、人間の期待と強い一致を示している。
• RecordBreaker は、同じ GitHub データセット集において僅か 29.2% の抽出精度にとどまり、Datamaran に大きく劣っていた。
• 本システムはパラメータの選択に対して頑健であり、多様なログフォーマットやノイズレベルにおいても高い性能を維持した。
• Datamaran は、1 つのログファイル内で複数の異なるデータ構造を検出可能であるという点で、従来のツールに欠けていた独自の機能を有している。