[論文レビュー] Data quality measurement on categorical data using genetic algorithm

J. Malar Vizhi, T. Bhuvaneswari|arXiv (Cornell University)|Feb 15, 2012

Data Mining Algorithms and Applications参考文献 7被引用数 7

ひとこと要約

本稿では、関連ルールマイニングを用いてルール生成を行うことで、カテゴリカルデータにおけるデータ品質を測定するための多目的遺伝的アルゴリズム（MOGA）を提案する。精度、完全性、理解可能性、興味深さを最適化することで、特徴量選択と多基準評価を効率的に行い、従来の手法に比べてグローバルに最適な高品質なルールを特定する。

ABSTRACT

Data quality on categorical attribute is a difficult problem that has not received as much attention as numerical counterpart. Our basic idea is to employ association rule for the purpose of data quality measurement. Strong rule generation is an important area of data mining. Association rule mining problems can be considered as a multi objective problem rather than as a single objective one. The main area of concentration was the rules generated by association rule mining using genetic algorithm. The advantage of using genetic algorithm is to discover high level prediction rules is that they perform a global search and cope better with attribute interaction than the greedy rule induction algorithm often used in data mining. Genetic algorithm based approach utilizes the linkage between association rule and feature selection. In this paper, we put forward a Multi objective genetic algorithm approach for data quality on categorical attributes. The result shows that our approach is outperformed by the objectives like accuracy, completeness, comprehensibility and interestingness.

研究の動機と目的

• 数値データ品質研究に比べてまだ十分に検討がなされていないカテゴリカルデータにおけるデータ品質測定の課題に取り組む。
• 複雑な属性間の相互作用を捉えられず、局所最適に陥りやすいグリーディなルール誘導アルゴリズムの限界を克服する。
• スケーラブルでグローバル最適化可能なアプローチを開発し、カテゴリカルデータセットにおける高品質な関連ルールを同定する。
• 精度、完全性、理解可能性、興味深さという複数のデータ品質目的を同時に最適化する。
• 特徴量選択を関連ルールマイニングと統合し、ルールの関連性を高め、冗長性を低減する。

提案手法

• ルール品質を複数の基準の関数として扱うことで、データ品質測定を多目的最適化問題として定式化する。
• グリーディなアプローチにありがちな局所最適を避けるために、遺伝的アルゴリズムを用いてルール空間全体をグローバルに探索する。
• 候補となるルールを遺伝的アルゴリズムの染色体として表現し、遺伝子をアイテムセットおよびルール条件として定義する。
• 生成されたルールの精度、完全性、理解可能性、興味深さを同時に評価するフィットネス関数を定義する。
• 選択、交差、突然変異といった遺伝的演算子を用いて、世代にわたるルール集団を進化させる。
• 次元削減を図り、ルールの解釈可能性と関連性を向上させるために、特徴量選択技術を統合する。

実験結果

リサーチクエスチョン

• RQ1 多目的遺伝的アルゴリズムは、複数のルール品質基準を最適化することで、カテゴリカルデータにおけるデータ品質測定を効果的に行えるか？
• RQ2 提案されたMOGAベースのアプローチは、従来の単目的またはグリーディなルール誘導手法と比較して、ルール品質とカバレッジの面で優れているか？
• RQ3 関連ルールマイニングと特徴量選択の連携が、データ品質測定をどの程度向上させるか？
• RQ4 遺伝的アルゴリズムは、カテゴリカルデータの複雑な属性間の相互作用を反映する高レベルのグローバル最適なルールを発見できるか？
• RQ5 精度、完全性、理解可能性、興味深さという目的が、抽出されたルールの品質にどのように連携して影響を与えるか？

主な発見

• 提案された多目的遺伝的アルゴリズムは、カテゴリカルデータに対する高品質な関連ルールを生成する点で、従来の手法を上回っている。
• グローバル最適化による広範な解空間の探索のおかげで、精度と完全性が向上した。
• MOGAアプローチを用いて生成されたルールは、効果的な特徴量選択と冗長性の低減のおかげで、より理解しやすかった。
• 本手法は、ルールの興味深さと複雑さのトレードオフをうまくバランスさせ、より意味のあるパターンを抽出できた。
• データ品質測定を多目的問題として扱うことで、より強固で解釈可能なルールセットが得られることを結果が裏付けた。
• 本研究は、遺伝的アルゴリズムが複雑な属性依存関係を有するカテゴリカルデータにおいて、高レベルの予測ルールをマイニングするのに適していることを示した。