[論文レビュー] Index wiki database: design and experiments

Andrew Krizhanovsky|ArXiv.org|Aug 12, 2008

Wikis in Education and Collaboration参考文献 26被引用数 4

ひとこと要約

本論文は、GATE、Lemmatizer、Synarcherコンポーネントを用いた多言語ウィキテキスト（ロシア語、英語、ドイツ語）のインデックス化のためのソフトウェアアーキテクチャを提示する。DBDesignerを用いて逆インデックスを構築した。ロシア語ウィキペディアとシンプル英語ウィキペディアの2つのウィキデータベースを比較した結果、ロシア語ウィキペディアはサイズが大きいが、シンプル英語ウィキペディアはページ数と語彙数の両方でより速やかに成長しており、両者ともZipfの法則に従うことが判明した。

ABSTRACT

With the fantastic growth of Internet usage, information search in documents of a special type called a "wiki page" that is written using a simple markup language, has become an important problem. This paper describes the software architectural model for indexing wiki texts in three languages (Russian, English, and German) and the interaction between the software components (GATE, Lemmatizer, and Synarcher). The inverted file index database was designed using visual tool DBDesigner. The rules for parsing Wikipedia texts are illustrated by examples. Two index databases of Russian Wikipedia (RW) and Simple English Wikipedia (SEW) are built and compared. The size of RW is by order of magnitude higher than SEW (number of words, lexemes), though the growth rate of number of pages in SEW was found to be 14% higher than in Russian, and the rate of acquisition of new words in SEW lexicon was 7% higher during a period of five months (from September 2007 to February 2008). The Zipf's law was tested with both Russian and Simple Wikipedias. The entire source code of the indexing software and the generated index databases are freely available under GPL (GNU General Public License).

研究の動機と目的

• ロシア語、英語、ドイツ語に特に焦点を当てた、多言語ウィキテキストのインデックス化のためのスケーラブルなソフトウェアアーキテクチャの開発。
• DBDesignerのような視覚的ツールを用いて、効率的な情報検索を可能にする逆インデックスファイルデータベースの設計。
• 特にロシア語ウィキペディア（RW）とシンプル英語ウィキペディア（SEW）の、成長パターンと語彙多様性の評価。
• 多言語ウィキテキストコーパスにおけるZipfの法則の適用可能性の検証。
• 再利用およびさらなる研究を可能にするために、GPLライセンスの下でオープンソースのツールとインデックスデータベースを提供すること。

提案手法

• テキスト処理および情報抽出に、GATE（General Architecture for Text Engineering）フレームワークを採用した。
• 語形還元処理を統合し、ウィキテキスト内の語形の多様性を低減した。
• ウィキコンテンツの言語的分析およびインデックス化に、Synarcherツールを用いた。
• 視覚的データベースモデリングツールであるDBDesignerを用いて、逆インデックスファイルデータベースを設計した。
• ウィキマークアップ言語をパースするパイプラインを実装し、ウィキコンテンツを抽出および構造化した。
• ロシア語ウィキペディア（RW）用とシンプル英語ウィキペディア（SEW）用の2つのインデックスデータベースを構築し、比較分析を可能にした。

実験結果

リサーチクエスチョン

• RQ1 ロシア語ウィキペディアとシンプル英語ウィキペディアのページ数の成長率は、時間経過とともにどのように異なるか？
• RQ2 2007年9月から2008年2月までの5か月間において、ロシア語ウィキペディアの語彙とシンプル英語ウィキペディアの語彙の新語獲得速度は、それぞれどの程度異なるか？
• RQ3 ロシア語ウィキペディアとシンプル英語ウィキペディアのコーパスは、語の頻度分布において、どの程度Zipfの法則に従っているか？
• RQ4 特に多言語環境下において、ウィキコンテンツのボリュームに応じてインデックスデータベースのサイズはどのようにスケーリングするか？
• RQ5 GATE、Lemmatizer、Synarcherを組み合わせたモジュラーなソフトウェアアーキテクチャは、スケーラブルなウィキテキストインデックス化を効果的に支援できるか？

主な発見

• ロシア語ウィキペディア（RW）データベースは、シンプル英語ウィキペディア（SEW）データベースに比べ、語と語彙の数の点で桁違いに大きい。
• 観察期間中のシンプル英語ウィキペディアの新規ページの成長率は、ロシア語ウィキペディアよりも14%高い。
• 2007年9月から2008年2月までの5か月間、シンプル英語ウィキペディアの語彙における新語獲得速度は、ロシア語ウィキペディアよりも7%高い。
• ロシア語ウィキペディアおよびシンプル英語ウィキペディアのコーパスの両方が、語の頻度分布においてZipfの法則に従うことが判明した。
• すべてのソースコードおよび生成されたインデックスデータベースは、GPLライセンスの下で公開されており、再現性とさらなる研究を可能にしている。