[論文レビュー] Applying Vector Space Model (VSM) Techniques in Information Retrieval for Arabic Language

Bilal Abu-Salih|arXiv (Cornell University)|Jan 11, 2018

Algorithms and Data Compression参考文献 5被引用数 10

ひとこと要約

本稿では、アラビア語向けに最適化されたベクトル空間モデル（VSM）に基づく情報検索システムを提示している。このシステムは、文書検索の正確性を向上させるために、語句重み付けと関連性順序付けを実装している。Webベースのプロトタイプを通じて検証された結果、VSM技術がアラビア語情報検索に効果的に応用可能であることが示された。また、ユーザーの関連性フィードバックをサポートする仕組みも備えている。

ABSTRACT

Information Retrieval (IR) allows the storage, management, processing and retrieval of information, documents, websites, etc. Building an IR system for any language is imperative. This is evident through the massive conducted efforts to build IR systems using any of its models that are valid for certain languages. This report presents an implementation for a core IR technique which is Vector Space Model (VSM). We have chosen VSM model for our project since it is a term weighting scheme, and the retrieved documents could be sorted according to their relevancy degree. One other significant feature for such technique is the ability to get a relevance feedback from the users of the system; users can judge whether the retrieved document is relative to their need or not. The developed system has been validated through building an Arabic IR website using server side scripting. The experiments verifies the effectiveness of our system to apply all techniques of vector space model and valid over Arabic language.

研究の動機と目的

• アラビア語の情報検索に適した堅牢な情報検索システムを、ベクトル空間モデル（VSM）をコア検索手法として開発すること。
• アラビア語の語形変化の複雑さと豊富な屈折性を考慮し、VSMの語句重み付けおよび類似度計算をアラビア語テキストに適応させること。
• ユーザーが文書の関連性を判断することで、検索結果を改善できる関連性フィードバックをシステムに実装すること。
• サーバーサイドスクリプトを用いて実世界のアラビア語情報検索Webサイトに実装することで、システムの有効性を検証すること。
• VSM技術がアラビア語に成功裏に応用可能であり、正確かつ順序付けられた文書検索を実現できることを示すこと。

提案手法

• アラビア語文書およびクエリを高次元空間内のベクトルとして表現するために、TF-IDF語句重み付けを用いたベクトル空間モデル（VSM）が適用された。
• クエリベクトルと文書ベクトル間の関連性スコアを計算するためにコサイン類似度が使用され、順序付けられた検索が可能になった。
• サーバーサイドスクリプトを用いて実装され、リアルタイムの文書検索が可能な機能的なアラビア語情報検索Webサイトが構築された。
• 関連性フィードバックが統合され、ユーザーが検索結果の文書を関連性あり／なしとしてマークできるようになり、これにより以降のクエリが改善された。
• ベクトル表現の品質を向上させるために、アラビア語のテキスト処理に、正規化およびストップワードの除去といった標準的な前処理手順が適用された。
• 文書のコーパスを用いて実験を行い、検索効果性および順序付けの正確性を評価した。

実験結果

リサーチクエスチョン

• RQ1 アラビア語の語形変化の複雑さを考慮すると、ベクトル空間モデル（VSM）はアラビア語情報検索に効果的に適応可能だろうか？
• RQ2 TF-IDF重み付けとコサイン類似度の組み合わせは、与えられたクエリに対してアラビア語文書をどの程度効果的に順序付けられるだろうか？
• RQ3 ユーザーの関連性フィードバックは、アラビア語VSMベースのシステムにおいて、どの程度検索正確性を向上させるだろうか？
• RQ4 VSM技術とサーバーサイドスクリプトを用いて、完全に機能するアラビア語情報検索システムを実装できるだろうか？
• RQ5 ベースライン期待値と比較して、VSMはアラビア語文書の関連性検索において、全体としてどの程度の有効性を示すだろうか？

主な発見

• VSMベースのシステムは、高い関連性を持つアラビア語文書を効果的に検索でき、TF-IDFとコサイン類似度がアラビア語情報検索において有効であることを示した。
• ユーザーの関連性フィードバックの統合により、以降の検索サイクルにおける関連性の高い文書の順序付けが顕著に向上した。
• Webベースのプロトタイプは、VSM技術がアラビア語言語情報検索に実用的かつ効果的であることを確認した。
• ベクトル空間表現と類似度計算を活用することで、システムは正確な文書順序付けを実現した。
• 実験により、形態論的課題や語の変種に関係なく、VSMがアラビア語に効果的に応用可能であることが検証された。
• サーバーサイドスクリプトを用いた実装は、実世界のアラビア語情報検索アプリケーションにおいて、堅牢でスケーラブルであることが証明された。