[論文レビュー] The Application of Fuzzy Logic to the Construction of the Ranking Function of Information Retrieval Systems

Neil Rubens|ArXiv.org|Oct 8, 2006

Text and Document Classification Technologies参考文献 11被引用数 46

ひとこと要約

本稿では、情報検索システムにおけるランク付け関数として、ファジィ論理に基づくものを作成し、自然言語による関連性ルールを解釈可能なファジィルールに翻訳する（例：'tfが高く、idfが高ければ、関連性は高い'）。このアプローチは、Apache Luceneと同等のパフォーマンスを達成しており（deltaP10 +0.92%、deltaMAP -0.1%）、論理ベースのモデルの解釈可能性とベクトル空間モデルの柔軟性を組み合わせたものである。

ABSTRACT

The quality of the ranking function is an important factor that determines the quality of the Information Retrieval system. Each document is assigned a score by the ranking function; the score indicates the likelihood of relevance of the document given a query. In the vector space model, the ranking function is defined by a mathematic expression. We propose a fuzzy logic (FL) approach to defining the ranking function. FL provides a convenient way of converting knowledge expressed in a natural language into fuzzy logic rules. The resulting ranking function could be easily viewed, extended, and verified: * if (tf is high) and (idf is high) > (relevance is high); * if (overlap is high) > (relevance is high). By using above FL rules, we are able to achieve performance approximately equal to the state of the art search engine Apache Lucene (deltaP10 +0.92%; deltaMAP -0.1%). The fuzzy logic approach allows combining the logic-based model with the vector model. The resulting model possesses simplicity and formalism of the logic based model, and the flexibility and performance of the vector model.

研究の動機と目的

• 情報検索システムにおけるランク付け関数の解釈可能性と保守性を向上させること。
• 人間の関連性ヒューリスティクスを表現するのには不十分な、完全に数学的なランク付け関数の限界を是正すること。
• ファジィ論理をベクトル空間モデルと統合し、より柔軟で形式的なランク付けアプローチを実現すること。
• ドメインエキスパートが自然言語を用いて関連性ルールを簡単に定義・検証・拡張できるようにすること。

提案手法

• 語彙頻度（tf）、逆文書頻度（idf）、およびオーバーラップ測度を関連性スコアにマッピングするファジィ論理ルールを構築する。
• 自然言語ルール（例：'tfが高く、idfが高ければ、関連性は高い'）をファジィ推論システムを用いて形式化する。
• ファジィシステムは、tf、idf、関連性の各項における「高」などの言語的用語を定量化するための所属関数を用いる。
• 論理演算子（AND、OR）を用いてファジィルールを統合し、非ファジィ化処理により明確な関連性スコアを生成する。
• 得られたファジィランク付け関数をベクトル空間モデルと統合し、そのパフォーマンスを活用するとともに、解釈可能性を維持する。
• 標準的なIR指標（P10とMAP）を用いて評価を行い、Apache Luceneとの比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 ファジィ論理は、情報検索のランク付け関数において、人間の関連性ヒューリスティクスを効果的にモデル化できるか？
• RQ2 Apache Luceneのような既存のシステムと比較して、ファジィ論理ベースのランク付け関数はどの程度のパフォーマンスを示すか？
• RQ3 ファジィ論理は、検索効果性を損なわせることなく、ランク付け関数の解釈可能性と拡張性を向上させられるか？
• RQ4 ファジィ論理は、論理ベースとベクトルベースのIRモデルの長所をどの程度統合できるか？
• RQ5 自然言語ルールを、ファジィ論理を用いて信頼性のある形式的・計算可能なランク付け関数に正確に変換できるか？

主な発見

• ファジィ論理ベースのランク付け関数は、Apache Luceneと比較してP10スコアが+0.92%以内に収まり、10位以内の精度において優れたパフォーマンスを示した。
• MAPスコアはLucene比で-0.1%であり、最先端の効果性にほぼ同等であることが確認された。
• ファジィルールシステムは、ドメインエキスパートが自然言語ルールを用いて容易に解釈可能で拡張可能かつ検証可能であった。
• ファジィ論理とベクトルモデルの統合により、ベクトル空間モデルのパフォーマンスを維持しながら、形式的で透明性の高い仕組みが実現された。
• 本アプローチは、論理ベースモデルのシンプルさと形式的特徴と、ベクトルモデルの柔軟性と正確性を効果的に統合した。
• 結果として、ファジィ論理が、解釈可能でありながらも高パフォーマンスを発揮するランク付け関数を構築する代替手段として実用的かつ有効であることが示された。