[論文レビュー] An Optimization Model for Outlier Detection in Categorical Data

Zengyou He, Xiaofei Xu+1 more|ArXiv.org|Mar 29, 2005

Anomaly Detection Techniques and Applications被引用数 58

ひとこと要約

本稿では、主に数値データに焦点を当てた従来の手法の欠如を補うために、カテゴリカルデータにおける外れ値検出のためのグローバル最適化モデルを提案する。外れ値検出を組み合わせ最適化問題として定式化し、局所探索ヒューリスティックアルゴリズムを導入することで、効率的に異常なデータグループを同定し、実データおよび合成データセットにおいて優れた性能を示した。

ABSTRACT

The task of outlier detection is to find small groups of data objects that are exceptional when compared with rest large amount of data. Detection of such outliers is important for many applications such as fraud detection and customer migration. Most existing methods are designed for numeric data. They will encounter problems with real-life applications that contain categorical data. In this paper, we formally define the problem of outlier detection in categorical data as an optimization problem from a global viewpoint. Moreover, we present a local-search heuristic based algorithm for efficiently finding feasible solutions. Experimental results on real datasets and large synthetic datasets demonstrate the superiority of our model and algorithm.

研究の動機と目的

• 実世界の応用（不正検出や顧客行動分析など）で一般的なカテゴリカルデータにおける効果的な外れ値検出手法の不足を解消すること。
• カテゴリカルデータにおける外れ値検出をグローバル最適化問題として形式化し、体系的かつスケーラブルな分析を可能にすること。
• 全検索を伴わずに高品質な解を効率的に得られるヒューリスティックアルゴリズムを開発すること。
• 本モデルの性能を、実世界データおよび大規模な合成カテゴリカルデータセット上で評価すること。

提案手法

• 本稿では、各データオブジェクトに外れ値であるかどうかを示すバイナリ変数を割り当てることで、外れ値検出をバイナリ整数プログラミング問題として定式化する。
• 外れ値集合のサイズを事前に定めたもとで、外れ値とその他のデータとの間の総距離（属性ごとの不一致に基づく）を最小化する目的関数を定義する。
• 局所探索ヒューリスティックを用いて、反復的に外れ値集合に含める・含めないを変更することで、目的関数値を低減する解の改善を図る。
• ペアワイズオブジェクトの入れ替えに基づく近傍探索戦略を採用し、カテゴリカル属性の不一致に基づいて計算される不一致尺度に従って進行する。
• 収束速度を向上させるために、有望な解から出発するためのグリーディ初期化ステップを組み込む。
• 最適化モデルは、メジャリティデータ分布から著しく逸脱する、小さな一貫性のある外れ値グループを検出することを目的として設計されている。

実験結果

リサーチクエスチョン

• RQ1 カテゴリカルデータにおける外れ値検出を、どのようにグローバル最適化問題として形式化できるか？
• RQ2 計算コストを許容範囲に抑えるとともに、得られる組み合わせ最適化問題を効率的に解くためのヒューリスティックアプローチは何か？
• RQ3 本稿で提案するモデルは、実データおよび合成カテゴリカルデータセットにおいて、既存手法と比較してどのように性能を発揮するか？
• RQ4 本モデルは、メジャリティとは意味的に明確に異なる意味的・一貫性のある外れ値グループを検出できるか？

主な発見

• 提案された最適化モデルは、カテゴリカルデータにおける意味的外れ値グループの検出において、従来手法を顕著に上回った。
• 局所探索ヒューリスティックは、正確な手法に比べてはるかに短時間で高品質な解を達成でき、大規模データセットへのスケーラビリティを実現した。
• 実世界のデータセットでは、既知の不正パターンや異常な顧客セグメントを効果的に同定した。
• 大規模な合成データセットにおいても、アルゴリズムは高い正確性と再現率を維持し、モデルの頑健性と正確性を確認した。