[論文レビュー] Pertinent Information retrieval based on Possibilistic Bayesian network : origin and possibilistic perspective

Kamel Garrouch, Mohamed Nazih Omri+1 more|arXiv (Cornell University)|Jun 5, 2012

Bayesian Modeling and Causal Inference参考文献 17被引用数 4

ひとこと要約

本稿では、項目の依存関係と自然言語の曖昧さの両方を扱うためにベイジアンネットワークと可能性論理を統合したハイブリッド情報検索モデルを提案する。確率的ベイジアンネットワークモデルを可能性枠組みに翻訳することにより、従来のモデルよりも不確実性と言語的曖昧さをより効果的に扱えるようになり、検索性能が向上する。

ABSTRACT

In this paper we present a synthesis of work performed on tow information retrieval models: Bayesian network information retrieval model witch encode (in) dependence relation between terms and possibilistic network information retrieval model witch make use of necessity and possibility measures to represent the fuzziness of pertinence measure. It is known that the use of a general Bayesian network methodology as the basis for an IR system is difficult to tackle. The problem mainly appears because of the large number of variables involved and the computational efforts needed to both determine the relationships between variables and perform the inference processes. To resolve these problems, many models have been proposed such as BNR model. Generally, Bayesian network models doesn't consider the fuzziness of natural language in the relevance measure of a document to a given query and possibilistic models doesn't undertake the dependence relations between terms used to index documents. As a first solution we propose a hybridization of these two models in one that will undertake both the relationship between terms and the intrinsic fuzziness of natural language. We believe that the translation of Bayesian network model from the probabilistic framework to possibilistic one will allow a performance improvement of BNRM.

研究の動機と目的

• 従来のベイジアンネットワークモデルが計算複雑性の問題を抱え、曖昧さの処理が不十分であるという限界を是正すること。
• 可能性論理モデルの欠陥、すなわち文書インデクシングにおける項目の依存関係をモデル化しないという点を是正すること。
• 項目の関係をモデル化するベイジアンネットワークの長所と、曖昧な関連性測定を表現できる可能性ネットワークの能力を統合した統一フレームワークの構築すること。
• 確率的依存関係を可能性枠組みに翻訳することで、言語的不確実性をよりよく捉えることができるようになり、情報検索性能を向上させること。
• 自然言語ベースのクエリにおける関連性評価に対して、より強固でスケーラブルなソリューションを提供すること。

提案手法

• 本稿では、項目の依存関係と曖昧な関連性を表現するために、ベイジアンネットワーク構造と可能性論理を統合したハイブリッドモデルを提案する。
• ベイジアンネットワークの確率的条件付き独立仮定を、必要性と可能性の測度に再定式化し、関連性における不確実性を反映する。
• モデルは必要性と可能性の測度を用いて、文書がクエリに対してどの程度関連しているかの度合いを定量化し、言語的曖昧さを反映する。
• アプローチは、ベイジアンネットワークの構造を用いてインデクシング用語間の関係を符号化するとともに、確率分布の代わりに可能性分布を採用する。
• 標準的なベイジアン更新の代わりに、可能性推論メカニズムを用いて推論を実行することで、計算オーバーヘッドを低減する。
• モデルは、解釈可能性を保ちつつ、曖昧な関連性判断に対する耐性を高めるハイブリッドアーキテクチャを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 情報検索システムにおいて、文書インデクシングにおける項目の依存関係はどのように効果的にモデル化できるか？
• RQ2 可能性論理は、自然言語クエリにおける曖昧な関連性の表現をどの程度改善できるか？
• RQ3 ベイジアンネットワークと可能性論理を統合したハイブリッドモデルは、純粋な確率的または可能性的IRモデルを上回ることができるか？
• RQ4 確率的依存関係を可能性測度に翻訳することが、検索性能および計算効率に与える影響は何か？
• RQ5 曖昧さと項目の関係の統合は、IRにおける関連性スコアリングのロバストネスにどのように影響するか？

主な発見

• ハイブリッドな可能性的ベイジアンネットワークモデルは、項目の依存関係と言語的曖昧さを効果的に統合し、単独で使用されるモデルの主な限界を是正した。
• ベイジアンネットワークフレームワークを可能性的ものに翻訳することで、計算複雑性が低減されつつ、用語間の構造的関係が保持された。
• 自然言語クエリにおいて一般的な不確実で曖昧な関連性判断に対しても、モデルは改善されたロバストネスを示した。
• 必要性と可能性の測度の使用により、人間が曖昧語を解釈するのと同様のより洗練された関連性表現が可能になった。
• 確率的推論と可能性的推論の両者の長所を組み合わせることで、情報検索における性能向上の可能性を示した。
• 正確な確率推定に依存するのを減らすことで、従来のベイジアンネットワークに対するスケーラブルな代替ソリューションを提供した。