[论文解读] A Deep Learning Approach for Ontology Enrichment from Unstructured Text

Lalit Mohan Sanagavarapu, Vivek Iyer+1 more|arXiv (Cornell University)|Dec 16, 2021

Information and Cyber Security被引用 7

一句话总结

本文提出一种基于双向LSTM和通用句子编码器的深度学习方法，从非结构化文本中丰富基于ISO 27001的信息安全本体。模型在2.8 GB的维基百科和DBpedia数据上进行训练，在提取概念、关系和实例方面的测试准确率达到80%，展示了在动态、真实世界文本环境中的鲁棒性。

ABSTRACT

Information Security in the cyber world is a major cause for concern, with a significant increase in the number of attack surfaces. Existing information on vulnerabilities, attacks, controls, and advisories available on the web provides an opportunity to represent knowledge and perform security analytics to mitigate some of the concerns. Representing security knowledge in the form of ontology facilitates anomaly detection, threat intelligence, reasoning and relevance attribution of attacks, and many more. This necessitates dynamic and automated enrichment of information security ontologies. However, existing ontology enrichment algorithms based on natural language processing and ML models have issues with contextual extraction of concepts in words, phrases, and sentences. This motivates the need for sequential Deep Learning architectures that traverse through dependency paths in text and extract embedded vulnerabilities, threats, controls, products, and other security-related concepts and instances from learned path representations. In the proposed approach, Bidirectional LSTMs trained on a large DBpedia dataset and Wikipedia corpus of 2.8 GB along with Universal Sentence Encoder is deployed to enrich ISO 27001-based information security ontology. The model is trained and tested on a high-performance computing (HPC) environment to handle Wiki text dimensionality. The approach yielded a test accuracy of over 80% when tested with knocked-out concepts from ontology and web page instances to validate the robustness.

研究动机与目标

• 解决从公开来源的动态、非结构化威胁情报中，持续丰富信息安全本体的挑战。
• 克服现有NLP和ML方法在捕捉安全文本中上下文关系和多词概念方面的局限性。
• 通过从网页中自动、可扩展地提取概念、关系和现实世界实例，实现基于ISO 27001的本体丰富化。
• 通过利用序列建模和上下文嵌入，提升本体丰富化的鲁棒性和泛化能力。
• 通过增强的本体结构支持实际应用场景，如漏洞评估、攻击图生成和威胁情报关联。

提出的方法

• 采用双向长短期记忆（Bi-LSTM）网络，对从非结构化文本中提取的依存路径中的序列依赖关系进行建模。
• 利用通用句子编码器生成句子和短语的上下文相关、密集向量表示，以提升语义理解能力。
• 在包含97,425个DBpedia术语和2.8 GB维基百科文章的联合数据集上训练模型，以覆盖广泛领域。
• 在基于ISO 27001的信息安全本体的408个种子术语上进行微调，使预测结果与目标本体概念对齐。
• 通过从测试实例中移除已知本体概念的方式进行淘汰测试（knock-out testing），以评估模型的鲁棒性和泛化能力。
• 利用高性能计算（HPC）基础设施，应对大规模文本处理和模型训练带来的计算需求。

实验结果

研究问题

• RQ1 深度学习模型能否有效从非结构化网络文本中提取并丰富与安全相关的概念、关系和实例？
• RQ2 当在包含缺失或被移除的本体术语的真实网络页面上进行测试时，模型的泛化能力如何？
• RQ3 与非上下文方法相比，使用上下文嵌入（通用句子编码器）在多大程度上提升了本体丰富化的准确性？
• RQ4 在不同类型的本体概念（如漏洞、威胁、控制措施）上，模型在精确率、召回率和F1值方面的表现如何？
• RQ5 该方法是否可扩展至信息安全部分以外的其他领域，且仅需极少配置调整？

主要发现

• 在20个随机选取的信息安全网页上，对已移除本体概念的测试中，所提模型的测试准确率达到80%。
• 整体丰富化任务的F1值达到78%，表明精确率与召回率之间保持良好平衡。
• 模型在不同概念类别中表现稳定，其中上下位关系（hypernymy）的准确率相对更高。
• 在网页上检索的前20个结果中，精确率平均为0.84（P@20），表明相关概念的可靠检索能力。
• 该方法在处理多词概念和现实世界实例方面优于现有方法，而这些正是许多先前系统未能捕捉到的部分。
• 披萨本体丰富化结果的F1值为0.86–0.88，高于安全本体结果，表明领域特异性和概念清晰度对性能有显著影响。