[论文解读] Data Discovery and Anomaly Detection Using Atypicality: Theory

Anders Høst-Madsen, Elyas Sabeti+1 more|arXiv (Cornell University)|Sep 10, 2017

Anomaly Detection Techniques and Applications被引用 1

一句话总结

本文提出了一种基于异常性（atypicality）的新型理论框架，用于数据发现与异常检测，其中异常性被定义为：使用其自身模型进行编码比使用典型数据模型更高效的数据。基于最小描述长度（MDL）原理与通用信源编码，该方法可检测大规模数据中罕见且结构独特的序列——在心电图（ECG）、基因组学和音频数据中成功验证，对细微异常具有高敏感性。

ABSTRACT

A central question in the era of 'big data' is what to do with the enormous amount of information. One possibility is to characterize it through statistics, e.g., averages, or classify it using machine learning, in order to understand the general structure of the overall data. The perspective in this paper is the opposite, namely that most of the value in the information in some applications is in the parts that deviate from the average, that are unusual, atypical. We define what we mean by 'atypical' in an axiomatic way as data that can be encoded with fewer bits in itself rather than using the code for the typical data. We show that this definition has good theoretical properties. We then develop an implementation based on universal source coding, and apply this to a number of real world data sets.

研究动机与目标

• 为解决在大规模数据中识别具有价值、稀有且结构异常的数据的挑战，而非聚焦于典型或平均模式。
• 提出一个理论坚实、定义清晰的“异常性”概念，捕捉数据中内在的结构独特性，而不仅限于统计上的稀有性。
• 提供一种通用的、与模型无关的方法，用于检测此类异常序列，且无需事先了解底层数据结构。
• 在真实世界数据集中验证该方法的有效性，其中已知异常被嵌入在大量典型数据流中。

提出的方法

• 通过公理化方式定义异常性：若某序列在独立建模下可比使用典型数据模型编码得更短，则其为异常。
• 以最小描述长度（MDL）原理作为理论基础，通过码字长度差异量化异常性。
• 采用通用信源编码方法（特别是CTW算法）估计在典型模型与自建模假设下序列的码字长度。
• 通过随时间推移的码字长度差异（L(n)）的随机游走过程，可视化并检测数据显著偏离典型模式的区间。
• 在代表性典型数据（如正常心电图、人类基因组DNA）上训练模型，并在嵌入异常插入的测试数据（如病毒或细菌DNA、心律失常HRV段）上进行测试。
• 使用累积码字长度差异作为检测统计量：显著偏差表明存在异常序列。

实验结果

研究问题

• RQ1 能否构建一个理论严谨、通用的异常性定义，以捕捉超越统计稀有性的独特结构属性？
• RQ2 当底层模型未知时，基于MDL的码字长度差异是否能可靠检测真实数据中已知的异常序列？
• RQ3 该方法能否检测出难以通过标准异常检测方法识别的细微、复杂异常（如心律失常、病毒插入）？
• RQ4 当异常在结构上复杂但统计上并不罕见时，该方法的检测性能如何？

主要发现

• 所提出的异常性准则满足理论要求：某序列在本质上为异常的概率小于1，确保了统计一致性。
• 该方法成功检测到插入人类基因组DNA中的2千碱基对肺炎链球菌（Streptococcus pneumoniae）DNA片段，即使在移除插入片段中间部分以增加检测难度后仍能识别。
• 该算法在人类基因组序列中识别出HIV DNA插入，模拟了真实的病毒整合过程，其码字长度差异图中显示出清晰的偏离。
• 在心电图数据中，该方法通过检测累积码字长度差异的显著偏差，准确定位了存在房性心律失常的区域，即使该心律失常细微且难以通过标准指标分类。
• 码字长度差异（L(n)）的随机游走过程在所有测试数据集中清晰地突出了异常区域，证实了该方法对结构独特性的高度敏感性。
• 该方法优于传统异常检测，因其聚焦于内在结构偏离而非统计上的不可能性，从而在均匀分布数据中也能检测到具有实际意义的异常。