[论文解读] A Modular and Flexible Architecture for an Integrated Corpus Query System

Oliver Christ|arXiv (Cornell University)|Aug 2, 1994

Natural Language Processing Techniques被引用 208

一句话总结

本文提出了一种模块化、可扩展的语料库查询架构，通过逻辑访问层抽象物理数据存储，整合多种知识源（如标注文本、数据库和在线同义词词典）。该系统通过声明式、灵活的机制访问静态和动态计算的语言学信息，支持对多种数据类型的精确、交互式语料库查询，而无需重新索引或与特定存储格式紧密耦合。

ABSTRACT

The paper describes the architecture of an integrated and extensible corpus query system developed at the University of Stuttgart and gives examples of some of the modules realized within this architecture. The modules form the core of a corpus workbench. Within the proposed architecture, information required for the evaluation of queries may be derived from different knowledge sources (the corpus text, databases, on-line thesauri) and by different means: either through direct lookup in a database or by calling external tools which may infer the necessary information at the time of query evaluation. The information available and the method of information access can be stated declaratively and individually for each corpus, leading to a flexible, extensible and modular corpus workbench.

研究动机与目标

• 设计一种语料库查询系统，支持多种语言学知识源（例如词性标注、WordNet、CELEX），在新增知识源时无需重新索引。
• 在查询时动态计算语言学信息（例如双词组表、词性标注），而非预先存储。
• 将数据访问、查询评估和结果展示解耦为独立模块，以适应不同的使用场景。
• 通过提供统一的通用查询接口，支持人类用户和自动化工具（如解析器、生成器）的使用。
• 支持对对齐平行语料库的集成，实现源语言和目标语言间双向的查询结果展示。

提出的方法

• 将系统划分为物理数据访问层（处理文件、数据库和外部工具的底层访问）和逻辑访问层（抽象化存储细节）。
• 使用声明式查询语言，将所有声明的知识源（无论存储或计算所得）视为语料库的一等组件。
• 实现模块化的展示工具（例如 Xkwic），以 KWIC 格式显示查询结果，并支持查询历史、排序等交互功能。
• 支持平行语料库之间的对齐信息，实现双语结果的联动显示。
• 允许工具直接访问物理层或通过逻辑层访问，从而支持直接数据检索和复杂查询评估。
• 设计架构以支持增量更新：新增知识源时无需重新索引现有数据。

实验结果

研究问题

• RQ1 如何设计语料库查询系统，以支持具有不同访问方式和存储特性的多样化异构语言学知识源？
• RQ2 哪些设计模式能够实现在查询时动态计算语言学信息（例如词性标注、双词组表）而无需预先计算？
• RQ3 如何通过模块化设计同时支持交互式的人机使用和工具（如解析器、生成器）的程序化访问？
• RQ4 数据访问、查询评估与结果展示之间的关注点分离在多大程度上提升了系统的可扩展性与可维护性？
• RQ5 如何有效查询并统一呈现对齐的平行语料库，实现在双语界面中的统一查询与展示？

主要发现

• 模块化架构成功将数据访问与查询逻辑解耦，实现新增知识源时无缝集成，且无需重新索引现有数据。
• 逻辑访问层支持通用查询语言，可表达涉及多个知识源的复杂查询，无论其物理存储方式或访问方法如何。
• Xkwic 展示模块提供交互式、用户友好的界面，支持查询历史、排序和文件导出等功能，显著提升语言学家和词典学家的使用体验。
• 对对齐平行语料库的支持使得双语查询结果可并排显示，显著增强跨语言分析能力。
• 通过利用外部语言学资源（如 WordNet、CELEX），系统能够实现更精确的查询，从而减少手动浏览数据的需求。
• 通过计划增强逻辑层，该架构支持未来扩展，如解析树和高级查询结果操作（例如集合运算）的集成。