[논문 리뷰] Effects of Stop Words Elimination for Arabic Information Retrieval: A Comparative Study

Ibrahim Abu El‐Khair|arXiv (Cornell University)|2006. 01. 01.

Information Retrieval and Search Behavior참고 문헌 11인용 수 96

한 줄 요약

이 연구는 LEMUR 툴킷과 LDC 아랍어 뉴스레터 데이터를 사용하여 세 가지 아랍어 불용어 목록(일반, 코퍼스 기반, 병합)과 세 가지 가중치 부여 방식(IDF, 확률적, 언어 모델링)을 조합하여 평가한다. 일반 불용어 목록과 함께 BM25 가중치 부여 방식이 가장 뛰어난 검색 성능을 보였으며, 코퍼스 기반 및 병합 목록보다 뛰어나, 언어학적 전처리가 아랍어의 통계 기반 정보 검색 모델을 향상시킨다는 것을 보여준다.

ABSTRACT

The effectiveness of three stop words lists for Arabic Information Retrieval---General Stoplist, Corpus- Based Stoplist, Combined Stoplist ---were investigated in this study. Three popular weighting schemes were examined: the inverse document frequency weight, probabilistic weighting, and statistical language modelling. The Idea is to combine the statistical approaches with linguistic approaches to reach an optimal performance, and compare their effect on retrieval. The LDC (Linguistic Data Consortium) Arabic Newswire data set was used with the Lemur Toolkit. The Best Match weighting scheme used in the Okapi retrieval system had the best overall performance of the three weighting algorithms used in the study, stoplists improved retrieval effectiveness especially when used with the BM25 weight. The overall performance of a general stoplist was better than the other two lists.

연구 동기 및 목표

• 불용어 제거가 아랍어 정보 검색 성능에 미치는 영향을 평가하기 위해.
• 일반, 코퍼스 기반, 병합 세 가지 불용어 목록의 효과성을 비교하기 위해.
• 역문서빈도(IDF), 확률적, 통계적 언어 모델링 세 가지 가중치 부여 방식을 평가하기 위해.
• 아랍어 정보 검색에서 언어학적 전처리와 통계 기반 가중치 부여의 최적 조합을 규명하기 위해.
• 실제 아랍어 코퍼스를 대상으로 표준 평가 지표를 사용하여 검색 효과성을 측정하기 위해.

제안 방법

• 세 가지 불용어 목록을 구축하였다: 일반 목록은 일반적인 아랍어 기능어를 기반으로 하였고, 코퍼스 기반 목록은 LDC 아랍어 뉴스레터 데이터에서 유도되었으며, 병합 목록은 두 원천을 통합한 것이다.
• 세 가지 가중치 부여 방식을 적용하였다: 역문서빈도(IDF), 확률적 가중치 부여, 통계적 언어 모델링.
• 비교를 위한 기준으로 옥파키 BM25 가중치 부여 방식을 구현하였다.
• LEMUR 툴킷을 사용하여 LDC 아랍어 뉴스레터 데이터셋의 문서를 색인하고 검색하였다.
• 정밀도, 재현율, 평균 평균 정밀도(MAP)를 포함한 표준 정보 검색 평가 지표를 사용하여 검색 효과성을 측정하였다.
• 불용어 목록 유형과 가중치 부여 방식 간의 성능을 비교하여 최적의 구성 요건을 규명하기 위해 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 불용어 제거는 아랍어 정보 검색 성능에 어떤 영향을 미치는가?
• RQ2 일반, 코퍼스 기반, 병합 중 어느 불용어 목록이 가장 높은 검색 성능을 제공하는가?
• RQ3 IDF, 확률적, 언어 모델링과 같은 다양한 가중치 부여 방식은 불용어 목록과 조합되었을 때 어떻게 비교되는가?
• RQ4 불용어 필터링과 함께 BM25 가중치 부여 방식이 다른 가중치 부여 방식보다 뛰어나게 성능을 높이는가?
• RQ5 언어학적 전처리를 통계 기반 정보 검색 모델과 조합했을 때 유의미한 성능 향상이 이루어지는가?

주요 결과

• 세 가지 가중치 알고리즘 중에서 BM25 가중치 부여 방식이 가장 뛰어난 총합 검색 성능을 달성하였다.
• 불용어 목록은 특히 BM25 가중치 부여 방식과 조합되었을 때 검색 효과성을 향상시켰다.
• 일반 불용어 목록이 검색 효과성 측면에서 코퍼스 기반 및 병합 불용어 목록보다 뛰어났다.
• BM25와 일반 불용어 목록의 조합이 가장 높은 평균 평균 정밀도(MAP) 점수를 기록하였다.
• 코퍼스 기반 불용어 목록은 일반 불용어 목록보다 성능 향상이 유의미하게 떨어지지 않아, 코퍼스에 맞게 불용어를 맞춤화하는 데에는 제한된 이점이 있음을 시사한다.
• 이 연구는 언어학적 전처리(불용어 제거)를 통계 기반 정보 검색 모델과 통합함으로써 아랍어 정보 검색 성능이 향상됨을 확인한다.