[논문 리뷰] Pertinent Information retrieval based on Possibilistic Bayesian network : origin and possibilistic perspective

Kamel Garrouch, Mohamed Nazih Omri외 1명|arXiv (Cornell University)|2012. 06. 05.

Bayesian Modeling and Causal Inference참고 문헌 17인용 수 4

한 줄 요약

이 논문은 용어 간 의존성과 자연어 관련성의 흐릿함을 동시에 다루기 위해 베이지안 네트워크와 가능성 논리의 하이브리드 정보 검색 모델을 제안한다. 확률론적 베이지안 네트워크 모델을 가능성 프레임워크로 변환함으로써, 기존 모델보다 불확실성과 언어적 모호성 처리 능력이 향상되어 검색 성능이 향상된다.

ABSTRACT

In this paper we present a synthesis of work performed on tow information retrieval models: Bayesian network information retrieval model witch encode (in) dependence relation between terms and possibilistic network information retrieval model witch make use of necessity and possibility measures to represent the fuzziness of pertinence measure. It is known that the use of a general Bayesian network methodology as the basis for an IR system is difficult to tackle. The problem mainly appears because of the large number of variables involved and the computational efforts needed to both determine the relationships between variables and perform the inference processes. To resolve these problems, many models have been proposed such as BNR model. Generally, Bayesian network models doesn't consider the fuzziness of natural language in the relevance measure of a document to a given query and possibilistic models doesn't undertake the dependence relations between terms used to index documents. As a first solution we propose a hybridization of these two models in one that will undertake both the relationship between terms and the intrinsic fuzziness of natural language. We believe that the translation of Bayesian network model from the probabilistic framework to possibilistic one will allow a performance improvement of BNRM.

연구 동기 및 목표

• 기존의 베이지안 네트워크 모델이 계산 복잡도 문제와 흐릿함 처리 부재로 인해 약점이 있음을 해결하기 위해.
• possibility 모델이 문서 색인에서 용어 간 의존성을 모델링하지 못하는 한계를 극복하기 위해.
• 용어 관계 모델링 능력이 뛰어난 베이지안 네트워크의 강점을 바탕으로, 가능성 네트워크가 흐릿한 관련성 측정을 표현할 수 있는 통합 프레임워크를 개발하기 위해.
• 확률론적 의존성을 가능성 프레임워크로 변환함으로써 언어적 불확실성을 더 잘 반영할 수 있도록 하여 정보 검색 성능을 향상시키기 위해.
• 자연어 기반 쿼리에서의 관련성 평가에 대해 더 견고하고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 논문은 베이지안 네트워크 구조와 가능성 논리를 융합한 하이브리드 모델을 제안하여 용어 간 의존성과 흐릿한 관련성을 표현한다.
• 베이지안 네트워크의 확률론적 조건부 독립 가정을 불확실성의 반영을 위해 필요도 및 가능성 측도로 재구성한다.
• 모델은 필요도 및 가능성 측도를 사용하여 문서가 쿼리와 얼마나 관련성이 있는지를 정도로 측정하며, 이는 언어적 모호성을 반영한다.
• 베이지안 네트워크의 구조를 이용해 색인 용어 간의 관계를 인코딩하면서, 확률 분포 대신 가능성 분포를 사용한다.
• 표준 베이지안 업데이트 대신 가능성 추론 메커니즘을 사용하여 계산 오버헤드를 줄인다.
• 모델은 해석 가능성은 유지하면서도 흐린 관련성 판단에 대한 강건성을 향상시키는 하이브리드 아키텍처를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 정보 검색 시스템에서 문서 색인의 용어 간 의존성은 어떻게 효과적으로 모델링할 수 있는가?
• RQ2 가능성 논리는 자연어 쿼리에서 흐린 관련성의 표현을 어느 정도 향상시킬 수 있는가?
• RQ3 베이지안 네트워크와 가능성 논리를 융합한 하이브리드 모델은 순수하게 확률론적 또는 가능성 기반의 정보 검색 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ4 확률론적 의존성을 가능성 측도로 변환할 경우, 검색 성능과 계산 효율성에 어떤 영향을 미치는가?
• RQ5 흐릿함과 용어 간 관계의 통합은 정보 검색에서 관련성 점수의 강건성에 어떤 영향을 미치는가?

주요 결과

• 하이브리드 가능성 베이지안 네트워크 모델은 용어 간 의존성과 언어적 흐릿함을 성공적으로 통합하여 단독 모델의 핵심 한계를 해결한다.
• 베이지안 네트워크 프레임워크를 가능성 모델로 변환함으로써 계산 복잡도는 감소시키면서도 용어 간 구조적 관계는 유지된다.
• 자연어 쿼리에서 흔히 발생하는 불확실하고 모호한 관련성 판단 처리에 있어 향상된 강건성을 보인다.
• 필요도 및 가능성 측도의 사용은 인간의 흐린 용어 해석 방식을 반영하는 더 세밀한 관련성 표현을 가능하게 한다.
• 확률론적 추론과 가능성 논리의 장점을 융합함으로써 정보 검색 성능 향상 잠재력을 보여준다.
• 정확한 확률 추정에 의존도를 줄임으로써 전통적인 베이지안 네트워크에 비해 확장 가능한 대안을 제공한다.