[논문 리뷰] Index wiki database: design and experiments

Andrew Krizhanovsky|ArXiv.org|2008. 08. 12.

Wikis in Education and Collaboration참고 문헌 26인용 수 4

한 줄 요약

이 논문은 GATE, 레마타이저, Synarcher 구성 요소를 사용하여 러시아어, 영어, 독일어 등 다국어 위키 텍스트를 인덱싱하기 위한 소프트웨어 아키텍처를 제시한다. DBDesigner를 통해 구축된 역인덱스 파일 인덱스를 사용하며, 러시아 위키백과와 단순 영어 위키백과를 비교 분석한다. 러시아 위키백과는 크기가 더 크지만, 단순 영어 위키백과는 페이지 수와 어휘 수에서 더 빠르게 성장하며, 둘 다 지프의 법칙을 따르는 것으로 나타났다.

ABSTRACT

With the fantastic growth of Internet usage, information search in documents of a special type called a "wiki page" that is written using a simple markup language, has become an important problem. This paper describes the software architectural model for indexing wiki texts in three languages (Russian, English, and German) and the interaction between the software components (GATE, Lemmatizer, and Synarcher). The inverted file index database was designed using visual tool DBDesigner. The rules for parsing Wikipedia texts are illustrated by examples. Two index databases of Russian Wikipedia (RW) and Simple English Wikipedia (SEW) are built and compared. The size of RW is by order of magnitude higher than SEW (number of words, lexemes), though the growth rate of number of pages in SEW was found to be 14% higher than in Russian, and the rate of acquisition of new words in SEW lexicon was 7% higher during a period of five months (from September 2007 to February 2008). The Zipf's law was tested with both Russian and Simple Wikipedias. The entire source code of the indexing software and the generated index databases are freely available under GPL (GNU General Public License).

연구 동기 및 목표

• 러시아어, 영어, 독일어를 포함한 다국어 위키 텍스트를 위한 확장 가능한 소프트웨어 아키텍처를 개발하는 것.
• DBDesigner와 같은 시각적 도구를 사용하여 효율적인 정보 검색을 위한 역인덱스 파일 데이터베이스를 설계하는 것.
• 특히 러시아 위키백과(RW)와 단순 영어 위키백과(SEW)를 대상으로 한 위키 코퍼스의 성장 패턴과 어휘 다양성을 평가하는 것.
• 지프의 법칙이 다국어 위키 텍스트 코퍼스에 적용 가능한지 테스트하는 것.
• 재사용과 향후 연구를 위해 GPL 라이선스 하에 오픈소스 도구와 인덱스 데이터베이스를 제공하는 것.

제안 방법

• 텍스트 처리 및 정보 추출을 위해 GATE(Generic Architecture for Text Engineering) 프레임워크를 사용하였다.
• 위키 텍스트의 어형 다양성을 줄이고 어형을 정규화하기 위해 레마타이저를 통합하였다.
• 위키 콘텐츠의 언어학적 분석 및 인덱싱을 위해 Synarcher 도구를 사용하였다.
• 시각적 데이터베이스 모델링 도구인 DBDesigner를 사용하여 역인덱스 파일 인덱스 데이터베이스를 설계하였다.
• 위키 마크업 언어를 파싱하여 위키 콘텐츠를 추출하고 구조화하는 파이프라인을 구현하였다.
• 러시아 위키백과(RW)용, 단순 영어 위키백과(SEW)용 두 개의 인덱스 데이터베이스를 구축하여 비교 분석을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 관찰 기간 동안 러시아 위키백과와 단순 영어 위키백과의 페이지 수 성장률은 어떻게 다를까?
• RQ2 2007년 9월에서 2008년 2월까지 5개월 동안 러시아 위키백과의 어휘에 새로운 어휘가 얼마나 빠르게 추가되었는가?
• RQ3 러시아 위키백과와 단순 영어 위키백과 코퍼스가 단어 빈도 분포에서 지프의 법칙을 어느 정도 따르는가?
• RQ4 특히 다국어 환경에서 위키 콘텐츠의 볼륨 증가에 따라 인덱스 데이터베이스 크기가 어떻게 변화하는가?
• RQ5 GATE, 레마타이저, Synarcher를 조합한 모듈식 소프트웨어 아키텍처가 다국어 위키 텍스트 인덱싱을 효과적으로 지원할 수 있는가?

주요 결과

• 러시아 위키백과(RW) 데이터베이스는 단순 영어 위키백과(SEW) 데이터베이스보다 어휘 및 어휘 수 측면에서 수개의 주기만큼 더 크다.
• 관찰 기간 동안 단순 영어 위키백과의 신규 페이지 성장률은 러시아 위키백과보다 14% 높았다.
• 2007년 9월에서 2008년 2월까지 5개월 기간 동안 단순 영어 위키백과 어휘의 새로운 단어 확보 속도는 러시아 위키백과보다 7% 더 빠르게 증가하였다.
• 러시아 위키백과와 단순 영어 위키백과 코퍼스 모두 단어 빈도 분포가 지프의 법칙을 따르는 것으로 나타났다.
• 전체 소스 코드와 생성된 인덱스 데이터베이스는 공개되어 있으며, GPL 라이선스 하에 배포되어 재현성과 향후 연구를 가능하게 한다.