[论文解读] Message Importance Measure and Its Application to Minority Subset Detection in Big Data

Pingyi Fan, Yunquan Dong+2 more|arXiv (Cornell University)|Jul 6, 2016

Advanced Statistical Methods and Models参考文献 8被引用 8

一句话总结

本文提出了一种参数化的消息重要性度量（MIM），通过强调低概率、非典型事件来检测大数据中的少数群体子集。与香农或Rényi熵不同，MIM使用可调参数 𝜔 来增强罕见事件的重要性，从而通过理论性质和参数选择规则实现有效的少数群体子集检测，在数值结果中表现出优于传统方法的优越性。

ABSTRACT

Message importance measure (MIM) is an important index to describe the message importance in the scenario of big data. Similar to the Shannon Entropy and Renyi Entropy, MIM is required to characterize the uncertainty of a random process and some related statistical characteristics. Moreover, MIM also need to highlight the importance of those events with relatively small occurring probabilities, thereby is especially applicable to big data. In this paper, we first define a parametric MIM measure from the viewpoint of information theory and then investigate its properties. We also present a parameter selection principle that provides answers to the minority subsets detection problem in the statistical processing of big data.

研究动机与目标

• 解决在大数据分析中检测少数群体子集——即发生概率低的罕见、非典型事件——的挑战。
• 克服传统信息度量（如香农熵和Rényi熵）优先考虑典型、高概率事件的局限性。
• 开发一种新的信息论度量，突出罕见事件的重要性，尤其在这些事件至关重要的场景中（如欺诈检测、反恐）。
• 建立消息重要性度量（MIM）的理论性质，并推导出选择重要性参数 𝜔 的合理方法。
• 提供基于MIM的二元和M元少数群体子集检测框架，具备性能保证，并与传统的贝叶斯和Chernoff方法进行比较。

提出的方法

• 提出一种参数化的消息重要性度量（MIM），定义为 $ L(\bm{p}, \boldsymbol{\theta}) = \frac{1}{1 - \theta} \frac{d}{d\theta} \text{log} \big( \text{Tr}(\bm{p}^{\theta}) \big) $，其中 $ \theta $ 为重要性参数。
• 推导MIM的关键理论性质，包括非负性、在均匀分布下的最大性，以及关于 $ \theta $ 的单调性，确保其与信息论原则的一致性。
• 利用广义均值不等式建立MIM的下界，该下界随 $ \theta $ 增大而收紧，从而实现对少数群体子集的稳健检测。
• 基于定理1提出参数选择规则，其中 $ \theta_0 $ 被确定为使得对所有 $ \theta > \theta_0 $ 都有 $ L(\bm{p}, \theta) > L(\bm{u}, \theta) $，确保当罕见事件占主导时MIM超过均匀分布的值。
• 通过贝叶斯决策规则将MIM应用于二元和M元少数群体子集检测，重新表述误差概率上界以利用MIM，从而提高对低概率类别的敏感性。
• 通过一个五类分布 $ \bm{p} = [0.0925, 0.3156, 0.3887, 0.1484, 0.0549] $ 进行数值验证，结果表明当 $ \theta > \theta_0 = 20.0011 $ 时，MIM优于传统的基于熵的方法。

实验结果

研究问题

• RQ1 如何重新定义一种信息论度量，使其强调大数据中罕见的低概率事件，而非典型高概率事件？
• RQ2 一种优先考虑少数群体事件但保留核心微熵特性的新度量，其基本数学和信息论性质是什么？
• RQ3 如何最优地选择消息重要性度量中的重要性参数 $ \theta $，以确保在二元和M元分类设置中检测到少数群体子集？
• RQ4 MIM在何种方面优于经典方法（如贝叶斯决策规则和Chernoff信息），特别是在先验概率较小时检测少数群体子集？
• RQ5 MIM值与分布偏离均匀性的关系如何，特别是在存在罕见事件时？

主要发现

• 消息重要性度量（MIM）是非负的，并且在均匀分布下达到最大值，与香农熵和Rényi熵的核心性质一致。
• 对于给定分布 $ \bm{p} $，当 $ \theta > \theta_0 $ 时，MIM 超过均匀分布的值 $ L(\bm{u}, \theta) $，其中对于测试分布 $ \bm{p} = [0.0925, 0.3156, 0.3887, 0.1484, 0.0549] $，有 $ \theta_0 = 20.0011 $，表明实现了有效的少数群体检测。
• 通过广义均值不等式推导出的MIM下界在 $ \theta $ 较大时是紧的，验证了该度量的理论鲁棒性。
• 数值结果表明，当 $ \theta = 20 $ 时，MIM超过均匀分布的MIM值，而 $ \theta = 1 $ 时MIM值较低，证实了参数在增强罕见事件重要性方面的作用。
• 基于MIM的检测框架在少数类概率较小时优于传统的贝叶斯和Chernoff方法，尤其当 $ \theta $ 按照所提规则选择时。
• 在二元情况下，当 $ \theta > 5.5 $ 时，MIM在 $ \theta = 0.1 $ 时超过均匀值，验证了理论边界的正确性，并证实了该度量对罕见事件的敏感性。