[论文解读] Message Type Identification of Binary Network Protocols using Continuous Segment Similarity

Stephan Kleber, Rens W. van der Heijden+1 more|arXiv (Cornell University)|Feb 7, 2020

Network Security and Intrusion Detection参考文献 23被引用 2

一句话总结

该论文提出了一种新颖的方法，通过基于特征向量比较的连续段相似性，结合Hirschberg对齐与DBSCAN聚类及自动配置，实现二进制网络协议中消息类型的识别，消除了手动参数调优的需要。该方法在识别消息类型方面相比先前方法展现出更优的准确率与性能。

ABSTRACT

Protocol reverse engineering based on traffic traces infers the behavior of unknown network protocols by analyzing observable network messages. To perform correct deduction of message semantics or behavior analysis, accurate message type identification is an essential first step. However, identifying message types is particularly difficult for binary protocols, whose structural features are hidden in their densely packed data representation. We leverage the intrinsic structural features of binary protocols and propose an accurate method for discriminating message types. Our approach uses a similarity measure with continuous value range by comparing feature vectors where vector elements correspond to the fields in a message, rather than discrete byte values. This enables a better recognition of structural patterns, which remain hidden when only exact value matches are considered. We combine Hirschberg alignment with DBSCAN as cluster algorithm to yield a novel inference mechanism. By applying novel autoconfiguration schemes, we do not require manually configured parameters for the analysis of an unknown protocol, as required by earlier approaches. Results of our evaluations show that our approach has considerable advantages in message type identification result quality and also execution performance over previous approaches.

研究动机与目标

• 解决在密集数据打包导致结构特征被掩盖的二进制网络协议中，消息类型识别的挑战。
• 开发一种自动化方法，消除先前方法中手动配置参数所带来的可扩展性障碍。
• 通过在离散字节级比较之外引入连续相似性度量，提升对二进制协议中结构模式的识别能力。
• 提升未知二进制协议中消息类型推断的准确率与执行性能。
• 通过准确分类流量痕迹中的消息语义，实现可靠的协议逆向工程。

提出的方法

• 该方法从消息字段构建特征向量，其中每个元素代表一种结构属性，而非原始字节值。
• 在特征向量之间应用连续相似性度量，以检测传统精确匹配方法无法识别的细微结构模式。
• 采用Hirschberg对齐算法计算消息段之间的相似性评分，即使存在微小差异也能实现稳健比较。
• 使用DBSCAN聚类将消息根据连续相似性评分分组为不同类型，实现自动聚类检测。
• 采用自动配置方案动态调整聚类参数，无需人工输入，从而支持在未知协议上的部署。
• 该框架将相似性计算、聚类与参数自动调优整合为统一的推理流水线，用于消息类型识别。

实验结果

研究问题

• RQ1 当传统字节级匹配失效时，如何有效识别二进制网络协议中的结构模式？
• RQ2 与离散值比较相比，连续相似性度量是否能提升消息类型识别的准确率？
• RQ3 自动参数配置在多大程度上能提升未知协议中消息类型推断的可扩展性与可用性？
• RQ4 在真实流量痕迹中，该方法与现有方法相比在性能与准确率方面表现如何？
• RQ5 Hirschberg对齐在提升二进制协议消息相似性度量方面起到何种作用？

主要发现

• 所提出的方法在消息类型识别方面相比先前方法显著提升了准确率，尤其在复杂二进制协议中表现更优。
• 连续相似性度量的使用能够更好地检测出被精确匹配方法掩盖的结构模式。
• 自动配置方案成功消除了对手动参数调优的需求，提升了未知协议的可用性。
• Hirschberg对齐与DBSCAN的集成显著提升了在多样化消息结构下的聚类质量与鲁棒性。
• 该方法展现出卓越的执行性能，适用于实时或大规模协议分析。
• 评估结果证实，该方法在结果质量与计算效率方面均优于现有方法。