[論文レビュー] Focusing on a Probability Element: Parameter Selection of Message Importance Measure in Big Data

Rui She, Shanyun Liu+2 more|arXiv (Cornell University)|Jan 12, 2017

Anomaly Detection Techniques and Applications参考文献 12被引用数 4

ひとこと要約

本稿では、大規模データ分布における特定の確率要素に注目するため、重要度係数 𝜔_j = 1/p_j として設定することにより、希少または異常なイベントの検出を強化するMIM（メッセージ重要度測度）のパrameter選択手法を提案する。この手法は、低確率イベントに注目することで異常検出を向上させ、理論的分析とシミュレーションにより、統計モデル下での少数サブセット検出において有効性が確認されている。

ABSTRACT

Message importance measure (MIM) is applicable to characterize the importance of information in the scenario of big data, similar to entropy in information theory. In fact, MIM with a variable parameter can make an effect on the characterization of distribution. Furthermore, by choosing an appropriate parameter of MIM, it is possible to emphasize the message importance of a certain probability element in a distribution. Therefore, parametric MIM can play a vital role in anomaly detection of big data by focusing on probability of an anomalous event. In this paper, we propose a parameter selection method of MIM focusing on a probability element and then present its major properties. In addition, we discuss the parameter selection with prior probability, and investigate the availability in a statistical processing model of big data for anomaly detection problem.

研究の動機と目的

• 既存のMIMパrameter選択手法が最小確率イベントにのみ注目するという限界を解消すること。
• 分布内の特定の確率要素に注目する実用的で適応可能なMIMパrameter選択戦略を構築すること。
• 希少なイベントに注目するようにMIMをカスタマイズすることで、大規模データにおける少数サブセット検出をより効果的に行えるようにすること。
• 実世界の大規模データ異常検出応用に適した統計モデルにおいて、提案手法を検証すること。

提案手法

• 重要度係数 𝜔_j = 1/p_j を用いるパラメトリックMIMを定義し、p_j は注目する確率要素である。
• MIMの式を L_j(p, 𝜔_j) = log(∑ p_i * exp( (1/p_j)(1 - p_i) )) として導出する。これは p_j に対する感度を調整する。
• このパラメータ設定下でのMIMの主な性質を分析し、単調性および一様分布と非一様分布下での挙動を検討する。
• 1階および2階のテイラー近似を用いて、標本下での経験的MIMの期待値と分散を推定する。
• サンプルサイズの増加に伴う経験的MIM推定量の収束性を、チェビシェフの不等式を用いて分析する。
• 二項分布、ポアソン分布、幾何分布を用いた数値シミュレーションにより、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 最小確率イベントに限らず、特定の低確率イベントに注目するようにMIMパrameterをどのように選択すべきか？
• RQ2 重要度係数を 𝜔_j = 1/p_j として設定した場合のMIMの基本的性質は何か？
• RQ3 異なる確率分布に適用した場合、MIMは少数サブセット検出においてどのように機能するか？
• RQ4 経験的MIM推定量は標本抽出下で信頼性高く収束するか？また、サンプルサイズはその精度と分散にどのように影響するか？
• RQ5 提案されたMIMパラメータ設定は、一様分布や多数派分布から希少イベントを効果的に区別できるか？

主な発見

• 𝜔_j = 1/p_j を用いたMIMは、すべてのテスト済み分布において p_j に関して厳密に単調減少であり、低確率イベントへの感受性が確認された。
• 非一様分布下では、特定の p_j に注目したMIM値が一様分布のそれより高くなることが確認され、一様性からの逸脱検出能力が裏付けられた。
• サンプルサイズ N_i が増加するにつれて、経験的MIM推定量 E(𝐿̂_i) の期待値は真のMIM値に収束し、特に p が小さい場合に顕著である。
• 経験的MIM推定量の分散 D(𝐿̂_i) は N_i の増加に伴い減少し、0 < p < 1/2 の範囲では μ = p に対して単調減少である。
• 特定の確率要素に注目したMIMは経験的設定において強い収束性を示し、大規模データにおける統計的異常検出に適している。
• 数値結果により、𝜔_j = 1/p_j を用いたMIMが希少イベントを効果的に強調し、一様分布ベースラインに比べて検出能力が優れていることが確認された。