[论文解读] Index wiki database: design and experiments

Andrew Krizhanovsky|ArXiv.org|Aug 12, 2008

Wikis in Education and Collaboration参考文献 26被引用 4

一句话总结

本文提出了一种用于索引多语言维基文本（俄语、英语和德语）的软件架构，采用 GATE、词形还原器和 Synarcher 组件，并通过 DBDesigner 构建倒排文件索引。该研究对比了俄罗斯维基百科和简易英语维基百科两个维基数据库，发现尽管俄罗斯维基百科在大小上更大，但简易英语维基百科在页面数量和词汇量方面增长更快，且两者均符合齐普夫定律。

ABSTRACT

With the fantastic growth of Internet usage, information search in documents of a special type called a "wiki page" that is written using a simple markup language, has become an important problem. This paper describes the software architectural model for indexing wiki texts in three languages (Russian, English, and German) and the interaction between the software components (GATE, Lemmatizer, and Synarcher). The inverted file index database was designed using visual tool DBDesigner. The rules for parsing Wikipedia texts are illustrated by examples. Two index databases of Russian Wikipedia (RW) and Simple English Wikipedia (SEW) are built and compared. The size of RW is by order of magnitude higher than SEW (number of words, lexemes), though the growth rate of number of pages in SEW was found to be 14% higher than in Russian, and the rate of acquisition of new words in SEW lexicon was 7% higher during a period of five months (from September 2007 to February 2008). The Zipf's law was tested with both Russian and Simple Wikipedias. The entire source code of the indexing software and the generated index databases are freely available under GPL (GNU General Public License).

研究动机与目标

• 开发一种可扩展的软件架构，用于索引多语言维基文本，特别关注俄语、英语和德语。
• 使用 DBDesigner 等可视化工具设计倒排文件索引数据库，以实现高效的信息检索。
• 评估不同维基语料库（特别是俄罗斯维基百科（RW）和简易英语维基百科（SEW））的增长模式和词汇多样性。
• 测试齐普夫定律在多语言维基文本语料库中的适用性。
• 提供开源工具和索引数据库，采用 GPL 许可证，以供重用和进一步研究。

提出的方法

• 采用 GATE（通用文本工程架构）框架进行文本处理和信息抽取。
• 集成词形还原器以规范化词形，减少维基文本中的词汇变体。
• 使用 Synarcher 工具对维基内容进行语言学分析和索引。
• 使用 DBDesigner（一种可视化数据库建模工具）设计倒排文件索引数据库。
• 实现 Wikipedia 标记语言的解析流水线，以提取并结构化维基内容。
• 构建两个索引数据库：一个用于俄罗斯维基百科（RW），一个用于简易英语维基百科（SEW），以支持对比分析。

实验结果

研究问题

• RQ1 在时间维度上，俄罗斯维基百科与简易英语维基百科的页面数量增长速率有何差异？
• RQ2 在五个月期间，俄罗斯维基百科与简易英语维基百科的词库中新词的获取速率如何？
• RQ3 俄罗斯维基百科和简易英语维基百科语料库在词频分布上在多大程度上符合齐普夫定律？
• RQ4 索引数据库的大小如何随维基内容体量增长而变化，特别是在多语言环境中？
• RQ5 结合 GATE、词形还原器和 Synarcher 的模块化软件架构能否有效支持可扩展的维基文本索引？

主要发现

• 在词和词素数量方面，俄罗斯维基百科（RW）数据库比简易英语维基百科（SEW）数据库大一个数量级。
• 在观察期间，简易英语维基百科的新页面增长速率比俄罗斯维基百科高出 14%。
• 在 2007 年 9 月至 2008 年 2 月的五个月期间，简易英语维基百科的词库中新词获取速率比俄罗斯维基百科高出 7%。
• 俄罗斯维基百科和简易英语维基百科语料库的词频分布均符合齐普夫定律。
• 全部源代码和生成的索引数据库均以 GPL 许可证公开，支持可重现性和进一步研究。