[논문 리뷰] Towards Better Response Times and Higher-Quality Queries in Interactive Knowledge Base Debugging

Patrick Rodler|arXiv (Cornell University)|2016. 09. 08.

Machine Learning and Algorithms참고 문헌 19인용 수 14

한 줄 요약

이 논문은 최소한의 추론 오버헤드로 높은 품질의 쿼리를 생성하는 추론기 없는 세 단계 히우리스틱 프레임워크를 제안한다. 표준 쿼리와 히팅 세트 트리 검색을 활용하여 논리적 추론기 의존 없이 최적의 쿼리 품질과 사용자 우호성을 달성하며, 기존 방법에 비해 응답 시간을 크게 단축하고 쿼리 이해도를 향상시킨다.

ABSTRACT

Many AI applications rely on knowledge encoded in a locigal knowledge base (KB). The most essential benefit of such logical KBs is the opportunity to perform automatic reasoning which however requires a KB to meet some minimal quality criteria such as consistency. Without adequate tool assistance, the task of resolving such violated quality criteria in a KB can be extremely hard, especially when the problematic KB is large and complex. To this end, interactive KB debuggers have been introduced which ask a user queries whether certain statements must or must not hold in the intended domain. The given answers help to gradually restrict the search space for KB repairs. Existing interactive debuggers often rely on a pool-based strategy for query computation. A pool of query candidates is precomputed, from which the best candidate according to some query quality criterion is selected to be shown to the user. This often leads to the generation of many unnecessary query candidates and thus to a high number of expensive calls to logical reasoning services. We tackle this issue by an in-depth mathematical analysis of diverse real-valued active learning query selection measures in order to determine qualitative criteria that make a query favorable. These criteria are the key to devising efficient heuristic query search methods. The proposed methods enable for the first time a completely reasoner-free query generation for interactive KB debugging while at the same time guaranteeing optimality conditions, e.g. minimal cardinality or best understandability for the user, of the generated query that existing methods cannot realize. Further, we study different relations between active learning measures. The obtained picture gives a hint about which measures are more favorable in which situation or which measures always lead to the same outcomes, based on given types of queries.

연구 동기 및 목표

• 비싼 추론 호출과 히우리스틱 비효율성으로 인해 발생하는 상호작용 지식 기반(KB) 디버깅에서의 높은 응답 시간과 열악한 쿼리 품질을 해결하기 위해.
• 쿼리 생성 과정에서 논리적 추론기를 의존하지 않으면서도 쿼리 최적성은 유지하거나 향상시키기 위해.
• 동등한 후보들 중에서 가장 이해하기 쉽고 최소한의 쿼리를 선택하는 방법을 개발하기 위해.
• 세 단계 과정(쿼리 분할 검색, 히팅 세트 트리 검색, 쿼리 강화/최소화)을 통해 효율적이고 최적의 쿼리 계산을 가능하게 하기 위해.
• 정보 수익 등의 쿼리 품질 측정 기준이 최적화되면서도 사용자 우호성과 논리적 일관성을 유지하기 위해.

제안 방법

• 논리적 추론 호출 없이도 이론적 최적성 보장을 확보할 수 있도록, 추론기 없는 쿼리 생성의 기초로 표준 쿼리를 도입한다.
• 품질 기준에 기반한 히우리스틱을 사용해 깊이 우선, 국소 최적 우선 백트래킹 검색을 q-분할에 대해 수행하여 최적의 분할을 찾는다.
• 표준 q-분할에서 최적의 쿼리를 추출하기 위해 히팅 세트 트리 검색을 사용하며, 기수성, 이해도 등의 기준에 따라 최선의 순서로 쿼리를 선택할 수 있도록 한다.
• 기본 쿼리에 논리적으로 종속되는 사전 정의된 단순 논리 형태(예: 함의)를 사용해 쿼리 강화 단계를 적용하며, 이 과정에 필요한 추론 호출은 단 두 번 뿐이다.
• 복잡한 문장을 우선 제거하고 이해하기 쉬운 문장을 유지하는 방식으로 수정된 쿼리 최소화 전략을 구현하여 사용자 노력 최소화를 보장한다.
• 강화 및 최소화 과정 동안 q-분할의 불변성을 확보하여, 선택된 측정 기준 하에 원래의 쿼리 품질 최적성 유지

실험 결과

연구 질문

• RQ1 상호작용 지식 기반(KB) 디버깅에서 논리적 추론 서비스 의존 없이도 쿼리 품질을 유지하거나 향상시킬 수 있는가?
• RQ2 히팅 세트 트리 검색을 어떻게 효과적으로 변형하여 동등한 후보들 중에서 가장 이해하기 쉽거나 최소한의 쿼리를 선택할 수 있는가?
• RQ3 쿼리 강화가 주어진 품질 측정 기준에 대해 쿼리의 최적성을 유지하기 위해 어떤 기준이 필요한가?
• RQ4 쿼리 최소화를 어떻게 수정하여 사용자 친화성을 우선시하면서도 논리적 정확성을 유지할 수 있는가?
• RQ5 KB 디버깅에서 다양한 활성 학습 측정 기준 간의 관계는 무엇이며, 특정 조건에서는 어떤 기준이 더 우수한가?

주요 결과

• 제안된 방법은 처음으로 완전히 추론기 없는 쿼리 생성을 달성하여 쿼리 계산 과정에서 추론 호출이 전혀 필요 없어졌다.
• 이 프레임워크는 정보 수익과 같은 주어진 쿼리 품질 측정 기준에 대해 생성된 쿼리가 최적임을 보장한다. 이는 기존 방법이 확보할 수 없는 특성이다.
• 히팅 세트 트리 검색은 기수성 또는 이해도와 같은 보조 기준에 따라 최선의 순서로 쿼리를 선택할 수 있도록 하며, 이는 이전 접근 방식에서 부재했던 능력이다.
• 쿼리 강화 및 최적화 단계는 다항 수준의 추론 호출만 필요하며, 강화에는 정확히 두 번, 최소화에는 다항 수준의 호출이 필요하다.
• 이 방법은 쿼리 강화 과정에서 기초 q-분할을 변경하지 않아, 선택된 품질 측정 기준 하에 쿼리의 최적성이 유지됨을 보장한다.
• 이론적 분석을 통해 수정된 최소화 전략이 타당한 가정 하에 사용자 난이도가 최소화된 쿼리를 찾는다는 것이 입증되었으며, 이는 사용성 향상에 기여한다.