[논문 리뷰] Possibilistic Pertinence Feedback and Semantic Networks for Goal's Extraction

Mohamed Nazih Omri|arXiv (Cornell University)|2012. 06. 05.

Multi-Criteria Decision Making참고 문헌 15인용 수 6

한 줄 요약

이 논문은 어렴풋이 표현된 신규 사용자 쿼리에서 목표 추출을 향상시키기 위해 의미망과 통합된 가능성 이론 기반의 가능성적 관련성 피드백 메커니즘을 제안한다. 확률 대신 가능성 이론을 활용함으로써 불확실성 처리에 있어 더 높은 강건성을 확보하며, 사용자 피드백을 통한 쿼리 관련성 개선 측면에서 확률적 방법에 비해 뛰어난 효과를 보여준다.

ABSTRACT

Pertinence Feedback is a technique that enables a user to interactively express his information requirement by modifying his original query formulation with further information. This information is provided by explicitly confirming the pertinent of some indicating objects and/or goals extracted by the system. Obviously the user cannot mark objects and/or goals as pertinent until some are extracted, so the first search has to be initiated by a query and the initial query specification has to be good enough to pick out some pertinent objects and/or goals from the Semantic Network. In this paper we present a short survey of fuzzy and Semantic approaches to Knowledge Extraction. The goal of such approaches is to define flexible Knowledge Extraction Systems able to deal with the inherent vagueness and uncertainty of the Extraction process. It has long been recognised that interactivity improves the effectiveness of Knowledge Extraction systems. Novice user's queries are the most natural and interactive medium of communication and recent progress in recognition is making it possible to build systems that interact with the user. However, given the typical novice user's queries submitted to Knowledge Extraction Systems, it is easy to imagine that the effects of goal recognition errors in novice user's queries must be severely destructive on the system's effectiveness. The experimental work reported in this paper shows that the use of possibility theory in classical Knowledge Extraction techniques for novice user's query processing is more robust than the use of the probability theory. Moreover, both possibilistic and probabilistic pertinence feedback can be effectively employed to improve the effectiveness of novice user's query processing.

연구 동기 및 목표

• 신규 사용자가 제출한 어렴풋하고 모호한 쿼리에서 목표 추출 문제를 해결하기 위해.
• 사용자 쿼리에 내재된 불확실성과 모호성에 대비하여 지식 추출 시스템의 강건성을 향상시키기 위해.
• 관련성 피드백을 통한 쿼리 개선 과정에서 가능성 이론이 확률 이론보다 더 높은 내성적 저항력을 제공하는지 평가하기 위해.
• 의미망과 가능성 기반 피드백을 통합하여 추출된 목표의 정확성과 관련성 향상시키기 위해.
• 사용자가 관련 대상을 확인하는 상호작용적 피드백이 목표 추출을 개선하는 데 효과적인지 검증하기 위해.

제안 방법

• 사용자 쿼리와 관련성 평가의 불확실성을 모델링하기 위해 가능성 이론을 활용하여 확률 이론에 비해 더 강건한 대안을 제공한다.
• 영역에 관한 개념, 관계, 목표를 표현하고 추론하기 위해 의미망을 활용한다.
• 사용자가 관련 대상이나 목표를 확인하는 피드백 루프를 도입하며, 이를 통해 쿼리를 개선하고 후속 결과를 향상시킨다.
• 가능성 기반의 관련성 피드백을 적용하여 사용자 피드백에 기반해 후보 목표의 믿음 정도를 업데이트하고 관련성 점수를 조정한다.
• 퍼지 논리와 의미 추론을 조합하여 비정형적이거나 모호한 쿼리에서 목표를 추출한다.
• 이중 단계 프로세스를 적용한다: 초기 쿼리 검색은 시드 쿼리를 사용하고, 이후에는 사용자 피드백과 가능성 기반 재가중을 통해 반복적으로 개선한다.

실험 결과

연구 질문

• RQ1 확률 이론에 비해 가능성 이론이 목표 추출 과정에서 불확실성 처리에 더 강건한가?
• RQ2 의사결정 기반의 관련성 피드백이 신규 사용자 쿼리에서 추출된 목표의 관련성 향상에 얼마나 효과적인가?
• RQ3 의미망이 어렴풋한 쿼리 상황에서 목표 추출의 해석 가능성과 정확성 향상에 어느 정도 기여하는가?
• RQ4 사용자 피드백이 흐릿하고 불확실한 환경에서 목표 후보를 개선하는 데 어떤 영향을 미치는가?
• RQ5 의사결정 이론과 의미망의 통합이 상호작용 기반 지식 추출에 실현 가능하고 효과적인가?

주요 결과

• 의사결정 이론 기반의 관련성 피드백은 사용자 쿼리의 불확실성과 모호성 처리에 있어 확률 기반 피드백보다 더 높은 강건성을 보였다.
• 의미망과 의사결정 기반 피드백의 통합은 모호한 쿼리에서 관련 목표 추출 능력을 크게 향상시켰다.
• 사용자 피드백은 후보 목표의 관련성 향상에 효과적이었으며, 의사결정 모델은 더 빠른 수렴과 안정성을 보였다.
• 이 방법은 신규 사용자 쿼리에서 목표 인식 오류의 부정적 영향을 줄여 전체 시스템의 효과성을 향상시켰다.
• 실험 결과는 의사결정 프레임워크가 확률적 대안에 비해 강건성과 신뢰성 측면에서 뛰어나다는 것을 확인했다.
• 의미 추론과 가능성 기반 피드백의 조합 덕분에, 모호하거나 불완전한 쿼리에서도 의미 있는 목표를 성공적으로 추출할 수 있었다.