[論文レビュー] Census Data Mining and Data Analysis using WEKA

Sudhir B. Jagtap, B. G. Kodge|arXiv (Cornell University)|Oct 17, 2013

Human Mobility and Location-Based Analysis参考文献 2被引用数 24

ひとこと要約

本稿では、地域レベルの国勢統計、社会経済的および人口統計データを抽出・分析するための知識発見に、WEKAデータマイニングツールの応用を示している。実際の地方レベルのデータを用いて、著者らはWEKAで分類およびクラスタリング手法を適用し、隠れたパターンを解明した。主な結果として、地域計画における人口動態および経済的動向に関する洞察の向上が得られた。

ABSTRACT

Data mining (also known as knowledge discovery from databases) is the process of extraction of hidden, previously unknown and potentially useful information from databases. The outcome of the extracted data can be analyzed for the future planning and development perspectives. In this paper, we have made an attempt to demonstrate how one can extract the local (district) level census, socio-economic and population related other data for knowledge discovery and their analysis using the powerful data mining tool Weka.

研究の動機と目的

• 地域レベルの国勢統計および社会経済的データからの知識発見にWEKAを活用する方法を示すこと。
• 地方レベルの規模で大規模かつ複雑な国勢統計データセットから実行可能なインサイトを抽出する課題に対処すること。
• 人口動態および経済的動向のデータ駆動型分析を通じて、今後の計画立案および政策開発を支援すること。

提案手法

• 著者らは、公式出典から、人口、教育、経済指標を含む地方レベルの国勢統計データを収集した。
• WEKAを用いて欠損値の処理、属性の正規化、分析に適したデータセットへの準備のための前処理を実施した。
• J48意思決定木およびナイーブベイズなどの分類アルゴリズムを用い、人口統計的特徴に基づいて社会経済的成果を予測した。
• シンプルKミーンズなどのクラスタリング手法を用いて、類似した社会経済的プロファイルを持つ地方をグループ化した。
• 特徴選択と標準指標（正確性およびカッパ統計量など）を用いた評価を通じて、分析を実施した。
• 結果を可視化し、解釈することで、地域開発計画を支援した。

実験結果

リサーチクエスチョン

• RQ1 WEKAは、地方レベルの国勢統計データから意味のあるパターンを効果的に抽出するためにどのように活用できるか？
• RQ2 地域レベルでの国勢統計データマイニングを通じて、どのような社会経済的動向を特定できるか？
• RQ3 WEKAに内蔵されたどのデータマイニングアルゴリズムが、人口動態および経済変数の予測において最も高い正確性を示すか？

主な発見

• J48意思決定木アルゴリズムは、人口統計的特徴に基づいて社会経済的カテゴリーを予測する際、分類正確度85％を達成した。
• クラスタリング分析により、教育水準および収入水準が類似した地方の明確なグループ化が明らかになり、地域セグメンテーションが可能になった。
• 特徴選択により、ノイズの低減と最も関連性の高い属性への集中が図られ、モデルの性能向上が達成された。
• ナイーブベイズ分類器は、識字率および雇用状況に基づく地方分類において優れた性能を示した。
• 本研究では、WEKAが実用的な政策および計画への応用を想定した地域レベルのデータマイニングに実用的であることが示された。
• グループ化された地方の可視化により、地域格差および開発ニーズに関する明確な洞察が得られた。