[論文レビュー] Database Reverse Engineering based on Association Rule Mining

Nattapon Pannurat, Nittaya Kerdprasop+1 more|arXiv (Cornell University)|Apr 19, 2010

Data Mining Algorithms and Applications参考文献 17被引用数 10

ひとこと要約

本論文は、アソシエーションルールマイニングを活用して、レガシーデータベースインスタンスから第三正規形（3NF）スキーマを自動で発見する、新しいデータベースリバースエンジニアリング手法を提案する。候補ルールの指数的増加を管理するためのルールフィルタリングヒューリスティクスを適用することで、文書が欠落または不完全であっても、正規化されたコンセプチャルスキーマを効果的に再構築できる。

ABSTRACT

Maintaining a legacy database is a difficult task especially when system documentation is poor written or even missing. Database reverse engineering is an attempt to recover high-level conceptual design from the existing database instances. In this paper, we propose a technique to discover conceptual schema using the association mining technique. The discovered schema corresponds to the normalization at the third normal form, which is a common practice in many business organizations. Our algorithm also includes the rule filtering heuristic to solve the problem of exponential growth of discovered rules inherited with the association mining technique.

研究の動機と目的

• 文書が不完全または欠落しているレガシーデータベースのリバースエンジニアリングの課題に対処すること。
• データマイニング技術を用いて、データベースインスタンスから正規化されたコンセプチャルスキーマを自動で導出すること。
• 従来のマイニングにおけるアソシエーションルールの指数的増加を克服するため、ルールフィルタリングヒューリスティクスを導入すること。
• 第三正規形（3NF）に準拠したスキーマを生成すること。3NFは、ビジネスデータベース設計の標準である。
• データベース保守および近代化のためのスケーラブルで実用的なソリューションを提供すること。

提案手法

• 本手法は、関係データベースインスタンスにアソシエーションルールマイニングを適用し、関数的依存関係を特定する。
• トランザクションデータ（テーブルのタプルを表す）から候補ルールを生成する。
• 重複または情報のないルールを排除するため、ルールフィルタリングヒューリスティクスを適用し、探索空間を縮小する。
• フィルタリングされたルールから関数的依存関係を抽出し、候補キーと属性を推定する。
• 発見された依存関係を正規化するアルゴリズムを用いて3NFスキーマを生成する。
• 最終的なスキーマが正規化および依存関係の保存性を満たしているかを検証する。

実験結果

リサーチクエスチョン

• RQ1 アソシエーションルールマイニングは、文書が欠落しているレガシーデータベースインスタンスから、正規化されたコンセプチャルスキーマを効果的に回復できるか？
• RQ2 リバースエンジニアリング中に、アソシエーションルールの指数的増加をどのように緩和できるか？
• RQ3 本手法は、事前の文書なしで、どの程度3NF準拠のスキーマを生成できるか？
• RQ4 ルールフィルタリングヒューリスティクスは、スケーラビリティの向上とノイズの低減にどの程度効果的か？
• RQ5 本手法は、最小限の人的介入で、実世界のビジネスデータベースに適用可能か？

主な発見

• 提案手法は、事前の文書が全くないデータベースインスタンスから、3NF準拠のコンセプチャルスキーマを正常に再構築できた。
• ルールフィルタリングヒューリスティクスは、候補ルールの数を顕著に削減し、計算効率を向上させた。
• 本手法は、実データから意味のある関数的依存関係を回復する可能性を示した。
• 得られたスキーマは、ビジネスアプリケーションで一般的に用いられる正規化原則を維持していた。
• 文書が欠落している場合のレガシーデータベース保守の実用的代替手段を提供した。
• 実世界のデータベースインスタンスへの適用を通じて、一貫したスキーマ回復が確認された。