[논문 리뷰] Applying Vector Space Model (VSM) Techniques in Information Retrieval for Arabic Language

Bilal Abu-Salih|arXiv (Cornell University)|2018. 01. 11.

Algorithms and Data Compression참고 문헌 5인용 수 10

한 줄 요약

이 논문은 아랍어를 위한 벡터 공간 모델(VSM) 기반 정보 검색 시스템을 제시하며, 용어 가중치 부여와 관련성 순위 매기기를 구현하여 문서 검색 정확도를 향상시킨다. 시스템은 웹 기반 프로토타입을 통해 검증되었으며, 아랍어 정보 검색에서 VSM 기법의 효과적인 적용을 입증하였다.

ABSTRACT

Information Retrieval (IR) allows the storage, management, processing and retrieval of information, documents, websites, etc. Building an IR system for any language is imperative. This is evident through the massive conducted efforts to build IR systems using any of its models that are valid for certain languages. This report presents an implementation for a core IR technique which is Vector Space Model (VSM). We have chosen VSM model for our project since it is a term weighting scheme, and the retrieved documents could be sorted according to their relevancy degree. One other significant feature for such technique is the ability to get a relevance feedback from the users of the system; users can judge whether the retrieved document is relative to their need or not. The developed system has been validated through building an Arabic IR website using server side scripting. The experiments verifies the effectiveness of our system to apply all techniques of vector space model and valid over Arabic language.

연구 동기 및 목표

• 벡터 공간 모델(VSM)을 핵심 검색 기법으로 사용하여 아랍어를 위한 강력한 정보 검색 시스템을 개발하는 것.
• 아랍어의 형태적 복잡성과 풍부한 파생을 고려하여 VSM의 용어 가중치 부여 및 유사도 계산을 아랍어 텍스트에 적응시키는 것.
• 사용자가 문서의 관련성 평가를 기반으로 검색 결과를 개선할 수 있도록 관련성 피드백 기능을 제공하는 것.
• 서버 측 스크립팅을 사용하여 실제 아랍어 정보 검색 웹사이트에 구현함으로써 시스템의 효과성을 검증하는 것.
• VSM 기법이 아랍어에 성공적으로 적용될 수 있음을 입증하여 정확하고 순위 매겨진 문서 검색을 보장하는 것.

제안 방법

• TF-IDF 용어 가중치 부여를 사용하여 아랍어 문서와 쿼리를 고차원 공간 내의 벡터로 표현하기 위해 벡터 공간 모델(VSM)을 적용하였다.
• 쿼리 벡터와 문서 벡터 간의 유사도 점수를 계산하기 위해 코사인 유사도를 사용하여 순위 매겨진 검색을 구현하였다.
• 실시간 문서 검색을 위한 기능성 있는 아랍어 정보 검색 웹사이트를 구축하기 위해 서버 측 스크립팅을 사용하여 시스템을 구현하였다.
• 관련성 피드백 기능을 통합하여 사용자가 검색된 문서를 관련이 있다고 또는 관련이 없다고 표시할 수 있도록 하였으며, 이를 바탕으로 후속 쿼리를 개선하였다.
• 벡터 표현 품질 향상을 위해 표준 전처리 단계(정규화 및 불용어 제거 포함)를 아랍어 언어 처리에 적용하였다.
• 문서 검색 효과성과 순위 정확도 평가를 위해 아랍어 문서 코퍼스를 사용하여 시스템을 테스트하였다.

실험 결과

연구 질문

• RQ1 아랍어의 형태적 복잡성에도 불구하고 벡터 공간 모델(VSM)이 아랍어 정보 검색에 효과적으로 적응될 수 있는가?
• RQ2 TF-IDF 가중치 부여와 코사인 유사도의 조합이 주어진 쿼리에 대해 아랍어 문서의 순위 매기기에서 얼마나 잘 작동하는가?
• RQ3 사용자 관련성 피드백이 아랍어 VSM 기반 시스템에서 검색 정확도 향상에 어느 정도 기여하는가?
• RQ4 VSM 기법과 서버 측 스크립팅을 사용하여 완전 기능성 아랍어 정보 검색 시스템을 구현할 수 있는가?
• RQ5 기본 기대치와 비교할 때 VSM의 전체적인 효과성은 아랍어 문서의 관련 문서 검색에서 어떠한가?

주요 결과

• VSM 기반 시스템은 높은 관련성의 아랍어 문서를 성공적으로 검색하여, 아랍어 정보 검색에서 TF-IDF와 코사인 유사도의 효과성을 입증하였다.
• 사용자 관련성 피드백 통합으로 인해 후속 검색 라운드에서 관련 문서의 순위가 크게 향상되었다.
• 웹 기반 프로토타입을 통해 VSM 기법이 아랍어 언어 정보 검색에 실현 가능하고 효과적임을 확인하였다.
• 벡터 공간 표현과 아랍어 텍스트의 유사도 계산을 활용하여 시스템은 정확한 문서 순위 매김을 달성하였다.
• 실험을 통해 VSM이 형태학적 특성과 어형 변형 문제에도 불구하고 아랍어에 효과적으로 적용될 수 있음을 검증하였다.
• 서버 측 스크립팅을 통한 구현은 실제 아랍어 정보 검색 응용 분야에서 강력하고 확장 가능한 성능을 보였다.