[論文レビュー] Beauty and Brains: Detecting Anomalous Pattern Co-Occurrences

Roel Bertens, Jilles Vreeken+1 more|arXiv (Cornell University)|Dec 22, 2015

Data Visualization and Analytics参考文献 21被引用数 3

ひとこと要約

本論文は、個々に一般的なパターンの組み合わせが一緒に見られることがめったになく、それらの組み合わせが予期されていないという、取引データにおける新しい異常のクラスを導入する。著者らは、取引内に存在するパターンの組み合わせの最大の新奇性（負のログリフト）を測定することで、このような異常を特定するBeauty and Brains（BnB）スコアを提案する。これにより、すべての関連ルールをマイニングする必要なく、高速な検出と解釈可能な説明が可能となる。

ABSTRACT

Our world is filled with both beautiful and brainy people, but how often does a Nobel Prize winner also wins a beauty pageant? Let us assume that someone who is both very beautiful and very smart is more rare than what we would expect from the combination of the number of beautiful and brainy people. Of course there will still always be some individuals that defy this stereotype; these beautiful brainy people are exactly the class of anomaly we focus on in this paper. They do not posses intrinsically rare qualities, it is the unexpected combination of factors that makes them stand out. In this paper we define the above described class of anomaly and propose a method to quickly identify them in transaction data. Further, as we take a pattern set based approach, our method readily explains why a transaction is anomalous. The effectiveness of our method is thoroughly verified with a wide range of experiments on both real world and synthetic data.

研究の動機と目的

• 取引データにおける新しい異常クラスを定義・形式化すること：個々に頻出するが、一緒に見られることがめったにないパターンの組み合わせ。
• 既存の異常検出手法の欠陥を是正すること。これらの手法は、一般的なパターンの稀な組み合わせに起因する異常を特定できない。
• すべての関連ルールを徹底的にマイニングする必要なく、異常スコアを効率的に計算するアルゴリズムの開発。
• 特定のパターンの組み合わせが取引の異常スコアに寄与していることを特定することで、解釈可能な説明を提供すること。
• 合成データおよび実世界のデータセットを用いた実験を通じて、本手法の有効性を示すこと。特に、最先端の技術が見逃していた異常を検出できることを示す。

提案手法

• BnBスコアを、取引に含まれるすべてのパターンの組み合わせにおける最大リフトの負の対数として定義する。
• 計算コストを削減するため、すべての閉じた頻出アイテムセットをマイニングする必要を避けるためにスリムパターン集合を用いる。
• BnBスコアを用いて、最も驚くべき（予想外の）パターンの組み合わせに基づいて取引をランク付けする。
• 統計的有意性を評価するために、ブートストラップに基づく有意性検定を適用する。
• 既存の異常検出フレームワークと統合し、他の異常クラスを置き換えるものではなく、補完するものとする。
• 異常を説明するために、取引内で最大の新奇性（最小のリフト）を持つ特定のパターンペアを同定する。

実験結果

リサーチクエスチョン

• RQ1 取引データにおける個々に一般的なパターンの予期せぬ組み合わせとして、新しい異常クラスを形式的に定義できるか？
• RQ2 すべての関連ルールを徹底的にマイニングする必要なく、効率的かつスケーラブルな方法でこのような異常を検出できるか？
• RQ3 BnBスコアは、合成データに植え付けられたクラス2の異常（予期せぬパターンの組み合わせ）を、通常の取引よりも上位にランク付けできるか？
• RQ4 BnB手法は、OC3 や CompreX といった既存手法が見逃していた実世界の異常を検出できるか？
• RQ5 BnBスコアは、取引の異常性に寄与する特定のパターンの組み合わせを同定することで、解釈可能な説明を提供できるか？

主な発見

• 合成データセットにおいて、BnBスコアは、すべての植え付けられたクラス2の異常（予期せぬパターンの組み合わせ）を、スコアの上位に正しく特定した。
• Adultデータセットでは、BnB手法は「女性の夫」として特徴づけられる極めて異常な個人を検出し、OC3 や CompreX では検出されなかった。
• Zooデータセットでは、アフリカのオオカピに似た卵を産む哺乳類のオポスラムは、データ分布下で「通常」と見なされる確率が8%未満であり、顕著な異常であることが示された。
• Bike Sharingデータセットでは、実温度が低く、顕在温度が高いという稀な組み合わせが見られた日が、過去の手法が見逃していたクラス2の異常として検出された。
• Mammalsデータセットでは、BnBは2つの動物群の生息域が唯一の小さな領域でのみ重複する2つの上位ランクの領域を正しく同定し、パターンの組み合わせによる異常の説明を可能にした。
• スリムパターン集合を用いることで、BnB手法は完全な閉じた頻出アイテムセットアプローチと同等の結果を得つつ、時間のわずか一部で処理を完了し、スケーラビリティを示した。