[論文レビュー] An Unified Definition of Data Mining

Christoph Schommer|ArXiv.org|Sep 16, 2008

Data Mining Algorithms and Applications参考文献 22被引用数 10

ひとこと要約

本稿では、物質の集合状態（固体、液体、気体）を新たな類推として用い、データマイニングを、生データ（固体状態）を情報（液体状態）に、さらに意思決定に役立つ知見（気体状態）に変換する変容的プロセスとして統一的に定義する。この枠組みは、データ収集、アルゴリズムによる情報への変換、知識への解釈という段階的プロセスを形式化し、ウェブ行動分析における実世界の応用によって検証されている。

ABSTRACT

Since many years, theoretical concepts of Data Mining have been developed and improved. Data Mining has become applied to many academic and industrial situations, and recently, soundings of public opinion about privacy have been carried out. However, a consistent and standardized definition is still missing, and the initial explanation given by Frawley et al. has pragmatically often changed over the years. Furthermore, alternative terms like Knowledge Discovery have been conjured and forged, and a necessity of a Data Warehouse has been endeavoured to persuade the users. In this work, we pick up current definitions and introduce an unified definition that covers existing attempted explanations. For this, we appeal to the natural original of chemical states of aggregation.

研究の動機と目的

• 学術界および産業界で広く用いられているにもかかわらず、データマイニングの明確で一貫した定義が存在しないという問題に取り組む。
• データマイニングの概念的境界を曇らせている、『知識発見』や『データウェアハウス』といった対立する用語や定義を統合する。
• 化学における集合状態の類推に基づいて、形式的で統一的なデータマイニングのモデルを提唱し、より明確な概念的・運用的枠組みを提供する。
• アソシエーションルールマイニングを用いたウェブユーザー行動分析の事例研究を通じて、モデルの実用的適用性を示す。
• 自動化ツールにとどまらない、人間の解釈と反復的精錬を重視する、構造的で段階的なデータマイニングプロセスを確立する。

提案手法

• 生データ（固体）、情報（液体）、知見（気体）、知識（高度に構造化された気体）の四段階モデルを導入し、データマイニング技術によって各段階間の移行を実現する。
• ウェブログデータから関連ルールを抽出するためにアプローチアルゴリズムを適用し、最小サポートと信頼度の閾値（サポート=2、信頼度=2）を設定してパターンを同定する。
• 人間による分析を通じて抽出されたルールを解釈可能な知見に変換し、例えば「ベビー」ページの訪問が「ドリンク」ページの訪問に続く傾向があることを特定する。
• 統計的検証を用いて知見を知識へと昇格させ、例えば「ベビー → ドリンク」の相関関係が類似システム全体で成立することを確認する。
• データ収集、前処理、アルゴリズム的分析、可視化、解釈を含む非決定的で探索的なプロセスとしてデータマイニングをモデル化する。
• タスク定義、パrameter選定、結果解釈において、人間アナリストの果たす不可欠な役割を強調し、完全自動化の主張に反論する。

実験結果

リサーチクエスチョン

• RQ1 統計学、機械学習、産業分野における多様な解釈にもかかわらず、どのようにして一貫的かつ統一的なデータマイニングの定義を確立できるか。
• RQ2 『知識発見』や『データウェアハウス』といった代替用語が、データマイニングの核心的概念をどの程度歪めているか。
• RQ3 物質の集合状態（固体、液体、気体）の類推が、データから知識への変換をモデル化するための整合性のある枠組みを提供できるか。
• RQ4 データマイニングにおいて、人間の解釈は、データから知見へ、そして最終的に知識へと移行する段階で果たす役割は何か。
• RQ5 本モデルは、データマイニング技術の実世界応用を通じて、どのように検証可能か。

主な発見

• 提唱されたモデルは、データマイニングを四段階の変換プロセスに明確にマッピングした：生データ（固体）→ 情報（液体）→ 知見（気体）→ 知識（高度に構造化された気体）。
• 事例研究により、サポート=2および信頼度=2のアソシエーションルールが、「ベビー」と「ドリンク」のウェブページへの頻回な併用訪問という意味のあるユーザー行動パターンを明らかにした。
• 「wclothes」が80％のケースで退出ページであり、「home」が33％のケースで入り口ページであるという知見は、データ分析と解釈を通じて得られたものである。
• 「ベビー」と「ドリンク」の相関関係は有効な知見と特定されたが、類似システム全体で検証されるまで、知識へと昇格させることはできなかった。
• 研究では、人間アナリストが、特にタスク定義、閾値選定、結果解釈の各段階で不可欠であることが確認された。
• 本モデルは、単なるアルゴリズム的抽出ではなく、触媒的変容プロセスとしてのデータマイニングを捉えることで、矛盾する定義を効果的に統合した。