[论文解读] Limitless HTTP in an HTTPS World: Inferring the Semantics of the HTTPS Protocol without Decryption

Blake Anderson, Andrew Chi+2 more|arXiv (Cornell University)|May 29, 2018

Internet Traffic Analysis and Secure E-voting参考文献 20被引用 3

一句话总结

本文提出了一种新颖的框架，无需解密即可从被动的HTTPS流量中推断HTTP语义（如方法、状态码、Content-Type及报头存在性）。通过在浏览器和恶意软件沙箱的TLS加密流量上进行迭代的多分类与二分类，该方法在大多数字段上的F₁分数均超过0.900，表明尽管存在加密，仍可提取大量协议级信息，对恶意软件检测和隐私权衡具有重要意义。

ABSTRACT

We present new analytic techniques for inferring HTTP semantics from passive observations of HTTPS that can infer the value of important fields including the status-code, Content-Type, and Server, and the presence or absence of several additional HTTP header fields, e.g., Cookie and Referer. Our goals are twofold: to better understand the limitations of the confidentiality of HTTPS, and to explore benign uses of traffic analysis such as application troubleshooting and malware detection that could replace HTTPS interception and static private keys in some scenarios. We found that our techniques improve the efficacy of malware detection, but they do not enable more powerful website fingerprinting attacks against Tor. Our broader set of results raises concerns about the confidentiality goals of TLS relative to a user's expectation of privacy, warranting future research. We apply our methods to the semantics of both HTTP/1.1 and HTTP/2 on data collected from automated runs of Firefox 58.0, Chrome 63.0, and Tor Browser 7.0.11 in a lab setting, and from applications running in a malware sandbox. We obtain ground truth plaintext for a diverse set of applications from the malware sandbox by extracting the key material needed for decryption from RAM post-execution. We developed an iterative approach to simultaneously solve several multi-class (field values) and binary (field presence) classification problems, and we show that our inference algorithm achieves an unweighted $F_1$ score greater than 0.900 for most HTTP fields examined.

研究动机与目标

• 探究是否能够从被动的HTTPS流量中无解密地推断出有意义的HTTP协议语义。
• 评估用流量分析替代TLS解密在网络安全监控与任务中的可行性。
• 评估这些推断技术对隐私的影响，特别是在网站指纹识别和去匿名化等对抗性环境中的影响。
• 探索在恶意软件检测、网络排错和策略执行中使用加密流量分析的实际应用。
• 评估这些技术在面对Tor等隐私保护系统（如使用固定长度单元和多路复用）时的鲁棒性。

提出的方法

• 作者将问题建模为一系列独立的多分类与二分类任务，针对HTTP字段（如方法、状态码、Content-Type及报头存在性，例如Cookie、Referer）进行处理。
• 采用迭代分类策略，利用同一TLS连接中相关事务的推断结果来提升准确性。
• 该方法在Firefox 58.0、Chrome 63.0、Tor浏览器7.0.11及恶意软件沙箱收集的加密HTTPS流量上进行训练，数据按时间划分为训练集（第1周）与测试集（第2周）。
• 通过在恶意软件执行后从内存中提取TLS密钥材料，获得恶意数据的原始明文标签，从而实现在真实世界加密流量上的监督学习。
• 系统首先以F₁ > 0.99识别TLS流中的HTTP/1.1记录，以F₁ > 0.98识别HTTP/2记录，随后再对字段值和存在性进行分类。
• 随时间推移评估特征重要性与模型鲁棒性，承认特征相关性可能发生改变，因此需要持续再训练。

实验结果

研究问题

• RQ1 是否能够无需解密，从被动HTTPS流量中准确推断出HTTP协议语义（如方法、状态码和报头字段）？
• RQ2 这些推断技术在加密流量中对恶意软件检测的改善程度如何？是否可被常见混淆技术规避？
• RQ3 这些推断方法是否会增强对Tor网络的网站指纹识别攻击？若不会，原因是什么？
• RQ4 该推断系统在不同浏览器和网络环境（包括动态与沙箱流量）中的性能表现如何？
• RQ5 从加密流量中推断HTTP语义在伦理与隐私方面有何影响，特别是在用户去匿名化与策略执行方面？

主要发现

• 该推断框架在大多数所考察的HTTP字段上实现了超过0.900的未加权F₁分数，包括Content-Type、Server和状态码，其中方法字段为0.717，状态码字段为0.492。
• 系统以F₁分数0.99识别TLS流中的HTTP/1.1记录，以F₁分数0.98识别HTTP/2记录，表明在记录边界检测方面具有高度准确性。
• 该技术通过利用恶意流量中HTTP报头字段分布的差异，提升了恶意软件检测性能，但规避策略可能降低其有效性。
• 对Tor网络的网站指纹识别攻击未见改善，因为Tor通过使用固定长度单元和多路复用有效缓解了这些推断技术。
• 该方法可在无需主动扫描或TLS终止的情况下实现被动网络监控与排错，为网络管理员提供可扩展的替代方案。
• 该框架可通过关联Referer/Origin/Cookie字段的存在性与时间戳，实现对NAT用户去匿名化；并能通过推断HTTP/2帧类型来检测违规文件传输。