[論文レビュー] San Francisco Crime Classification

Yehya Abouelnaga|arXiv (Cornell University)|Jul 13, 2016

Crime Patterns and InterventionsSocial Sciences被引用数 17

ひとこと要約

この論文では、サンフランシスコの犯罪種別を予測するための機械学習的手法を提示している。時系列的・空間的・カテゴリカルな特徴量を活用し、PCA、特にアドレスと時刻に関する特徴工学、およびアンサンブル手法（ランダムフォレストなど）を用いることで、Kaggleコンペティションでログロス2.39031を達成し、上位18％の順位を獲得した。

ABSTRACT

San Francisco Crime Classification is an online competition administered by Kaggle Inc. The competition aims at predicting the future crimes based on a given set of geographical and time-based features. In this paper, I achieved a an accuracy that ranks at top %18, as of May 19th, 2016. I will explore the data, and explain in details the tools I used to achieve that result.

研究の動機と目的

• 公開された犯罪データの地理的・時系列的特徴量を用いて、サンフランシスコの犯罪種別を予測すること。
• とくにスパースなアドレスフィールドに対する高度な特徴工学を活用し、分類性能を向上させること。
• k-NN、XGBoost、決定木、ランダムフォレストを含む複数の機械学習モデルを評価・比較すること。
• きめ細かいモデルチューニングと次元削減を活用し、Kaggleサンフランシスコ犯罪分類コンペティションで高順位の結果を達成すること。
• 今後の方向性として、ニューラルネットワークや分類器の融合によるさらなる性能向上の可能性を検討すること。

提案手法

• 'Dates'フィールドから時系列的特徴量（時刻、週の曜日、月）を抽出し、時系列パターンの検出を強化した。
• アドレスフィールドから'StreetNo'および'Block'インジケータを含む新たな特徴量を生成し、スパースなアドレスデータに対するモデルの汎化性能を向上させた。
• 次元削減と過学習の緩和を目的として、3成分の主成分分析（PCA）を適用した。
• k-最近傍法、XGBoost、決定木、ベイズ推定、ランダムフォレストの複数の分類器を評価し、ログロスを評価指標とした。
• 特にランダムフォレストのmax_depthおよびn_estimatorsをグリッドサーチで最適化し、性能を最適化した。
• 分類器の融合を用い、今後の改善のための高度な技術（Learning by Counting やニューラルネットワーク）を検討した。

実験結果

リサーチクエスチョン

• RQ1 サンフランシスコの犯罪種別と最も強く相関する時系列的・空間的特徴量は何か？
• RQ2 次元削減の目的でPCAを用いることで、犯罪分類の予測力はどの程度保持されるか？
• RQ3 k-NN、XGBoost、決定木、ランダムフォレストの中で、どの機械学習モデルが最も優れたログロス性能を示すか？
• RQ4 スパースな'Address'フィールドに対する特徴工学は、分類精度をどの程度向上させるか？
• RQ5 ニューラルネットワークやアンサンブル手法は、従来の木ベースのモデルを上回る性能を達成できるか？

主な発見

• 1日中の時刻が最も予測力の高い特徴量であり、犯罪種別と最も高い相関を示した。
• max_depth=13、n_estimators=200のランダムフォレストが、検証ログロス2.41057という最良の成績を達成した。
• ランダムフォレストモデルにStreetNoおよびBlock特徴量を追加することで、ログロスは2.366175731に低下し、顕著な性能向上が確認された。
• 最終モデルはテストログロス2.39031を達成し、Kaggleコンペティションで上位18％（2077件中388件）の順位を獲得した。
• 決定木は予想に反して良好な成績を示し、max_depth=10、n_elements=256で最適化され、ログロス2.50849507を記録した。
• XGBoostおよびベイズ分類器はアンサンブル手法に比べて性能が低く、XGBoostはmax_depth=5でログロス2.57428を記録した。