[论文解读] Broccoli: Semantic Full-Text Search at your Fingertips

Hannah Bast, Florian Bäurle+2 more|arXiv (Cornell University)|Jul 11, 2012

Semantic Web and Ontologies参考文献 27被引用 28

一句话总结

Broccoli 是一个语义全文搜索引擎，通过树形查询语言将基于关键词的文本检索与基于本体的结构化查询相结合。它通过将句子分解为语义上下文，支持高效查询建议与处理，实现实时、交互式的快速搜索，在 Wikipedia 和 YAGO 数据上取得高质量结果，错误修正后 F1 分数最高达 0.86。

ABSTRACT

We present Broccoli, a fast and easy-to-use search engine for what we call semantic full-text search. Semantic full-text search combines the capabilities of standard full-text search and ontology search. The search operates on four kinds of objects: ordinary words (e.g., edible), classes (e.g., plants), instances (e.g., Broccoli), and relations (e.g., occurs-with or native-to). Queries are trees, where nodes are arbitrary bags of these objects, and arcs are relations. The user interface guides the user in incrementally constructing such trees by instant (search-as-you-type) suggestions of words, classes, instances, or relations that lead to good hits. Both standard full-text search and pure ontology search are included as special cases. In this paper, we describe the query language of Broccoli, the main idea behind a new kind of index that enables fast processing of queries from that language as well as fast query suggestion, the natural language processing required, and the user interface. We evaluated query times and result quality on the full version of the English Wikipedia (40 GB XML dump) combined with the YAGO ontology (26 million facts). We have implemented a fully functional prototype based on our ideas and provide a web application to reproduce our quality experiments. Both are accessible via http://broccoli.informatik.uni-freiburg.de/repro-corr/ .

研究动机与目标

• 为解决传统全文搜索与本体搜索的局限性，将两者整合为统一、交互式的搜索系统。
• 使用户能够通过智能、上下文敏感的建议，逐步构建复杂的语义查询，而无需学习查询语言。
• 通过准确识别语义连贯句子上下文中的词语与实体共现，提升结果质量。
• 开发一种新型索引与处理流水线，支持快速查询评估与实时查询建议。
• 在大规模语料（英文 Wikipedia）与知识库（YAGO）上评估系统，展示其性能与结果质量。

提出的方法

• 查询语言基于树形结构查询，节点代表词语、类别、实例或关系，弧代表关系。
• 提出一种新颖的句子上下文分解技术，将句子拆分为语义连贯的子部分（如从句、列举项），确保共现检查仅在相关单元内进行。
• 采用专用索引结构，实现树查询的快速处理，并利用预计算的共现模式高效生成查询建议。
• 应用实体识别与回指消解技术，将文本中的词语链接到本体实体，启发式方法针对 Wikipedia 的结构进行定制。
• 系统采用混合方法：使用全文搜索获取关键词证据，通过本体查找获取结构化事实，结果根据相关性与上下文进行融合。
• 已实现原型系统并公开，支持可复现性；在 TREC 2009 查询上使用句子级与上下文级指标进行评估。

实验结果

研究问题

• RQ1 统一的搜索界面能否有效结合全文搜索与本体搜索，同时保持交互性与用户友好性？
• RQ2 如何比基于邻近性或段落级匹配更准确地建模句子级别的共现关系？
• RQ3 上下文分解在语义全文搜索中在多大程度上提升了结果质量？
• RQ4 在使用如实体识别与解析等不完美自然语言处理组件时，性能与质量之间存在何种权衡？
• RQ5 系统能否在无需完整句法解析的情况下，实现在真实数据上的高精度与高召回率？

主要发现

• 系统在原始 TREC 2009 句子级评估中 F1 得分为 0.37，错误修正后提升至 0.86。
• 在将缺失实体补充到标准答案后，F1 提升至 0.55，表明本体不完整是主要错误来源。
• 由于上下文分解导致的误报与漏报（FP6+FN6）数量较低，表明上下文分解方法具有鲁棒性。
• 系统的查询处理速度快，足以支持交互式使用，具备实时建议与低延迟响应时间。
• 结果表明，若将 YAGO 替换为 Freebase，可显著提升覆盖范围与结果质量，尤其在 'acted-in' 等关系上。
• 由实体识别与回指消解导致的错误类别 FP4 与 FN4 可通过集成更先进的自然语言处理技术进一步减少。