[논문 리뷰] Interactive Debugging of Knowledge Bases

Patrick Rodler|arXiv (Cornell University)|2016. 05. 19.

AI-based Problem Solving and Planning참고 문헌 15인용 수 42

한 줄 요약

이 논문은 의도된 및 의도하지 않은 함의에 대한 사용자 질의를 통해 단조성 지식 기반의 상호작용형 디버깅을 완전하고 타당하며 최소한의 침습성 방법으로 제시한다. 갈등 집합 기반의 질의를 반복적으로 수행함으로써 솔루션 후보를 점진적으로 제거함으로써, 이론적 보장된 정확성과 효율성을 확보하면서도 단일의 의미론적으로 올바른 수정으로 수렴한다.

ABSTRACT

Many AI applications rely on knowledge about a relevant real-world domain that is encoded by means of some logical knowledge base (KB). The most essential benefit of logical KBs is the opportunity to perform automatic reasoning to derive implicit knowledge or to answer complex queries about the modeled domain. The feasibility of meaningful reasoning requires KBs to meet some minimal quality criteria such as logical consistency. Without adequate tool assistance, the task of resolving violated quality criteria in KBs can be extremely tough even for domain experts, especially when the problematic KB includes a large number of logical formulas or comprises complicated logical formalisms. Published non-interactive debugging systems often cannot localize all possible faults (incompleteness), suggest the deletion or modification of unnecessarily large parts of the KB (non-minimality), return incorrect solutions which lead to a repaired KB not satisfying the imposed quality requirements (unsoundness) or suffer from poor scalability due to the inherent complexity of the KB debugging problem. Even if a system is complete and sound and considers only minimal solutions, there are generally exponentially many solution candidates to select one from. However, any two repaired KBs obtained from these candidates differ in their semantics in terms of entailments and non-entailments. Selection of just any of these repaired KBs might result in unexpected entailments, the loss of desired entailments or unwanted changes to the KB. This work proposes complete, sound and optimal methods for the interactive debugging of KBs that suggest the one (minimally invasive) error correction of the faulty KB that yields a repaired KB with exactly the intended semantics. Users, e.g. domain experts, are involved in the debugging process by answering automatically generated queries about the intended domain.

연구 동기 및 목표

• 비상호작용형 디버깅 도구의 한계를 해결한다. 이러한 도구들은 종종 큰 또는 복잡한 지식 기반에서 완전성 부족, 최소성 결여, 타당성 결여 또는 낮은 확장성 문제를 겪는다.
• 도메인 전문가가 함의에 관한 대상 질의를 통해 시스템과 상호작용함으로써 지식 기반의 결함을 효율적으로 국소화하고 수정할 수 있도록 한다.
• 최종 수정된 지식 기반에서 원하는 의미론적 성질을 유지하고 의도하지 않은 변경 사항이나 새로운 결함을 방지한다.
• 상호작용형 디버깅의 이론적 기초를 제공한다. 갈등 집합, 진단, 질의 분할과 같은 핵심 개념의 정의 포함.
• 최소한의 사용자 상호작용과 계산 오버헤드로 정확한 진단으로 수렴하는 알고리즘 개발.

제안 방법

• 불일치하는 지식 기반에서 최소 갈등 집합을 구성하여 불일치 원인인 공식의 부분집합을 식별한다.
• 주요 진단 쌍을 기반으로 사용자 질의를 생성한다. 각 질의는 특정 공식의 함의를 테스트하여 두 후보 수정 사항을 구분한다.
• Q-분할을 사용하여 각 질의 답변이 남은 해 공간에 미치는 영향을 모델링함으로써 진단을 systematic하게 제거한다.
• 검색 공간을 효율적으로 줄이기 위해 정적HS(정적 제거)와 동적HS(동적, 적응형 제거)라는 두 가지 반복적 진단 계산 알고리즘을 구현한다.
• 치우침 집합 트리 기법을 사용하여 진단 공간을 표현하고 탐색하며, 사용자 답변에 따라 계산을 최소화하도록 제거를 이끌어낸다.
• 수렴에 필요한 질의 수를 최소화하기 위해 확률 기반 및 엔트로피 기반 질의 선택 전략을 통합한다.

실험 결과

연구 질문

• RQ1 상호작용형 디버깅은 완전하고 타당한 지식 기반 수정을 달성할 수 있는가? 동시에 침습성이 최소화되는가?
• RQ2 사용자 질의는 어떻게 생성되어야 하며, 정보 수득을 극대화하고 정확한 진단을 식별하기 위해 필요한 상호작용 수를 최소화할 수 있는가?
• RQ3 상호작용형 디버깅 알고리즘의 정확성과 수렴성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 엔트로피 기반 또는 리스크 최적화 전략과 같은 다양한 질의 선택 전략은 질의 효율성과 확장성 측면에서 어떻게 비교되는가?
• RQ5 고급 추론 기법과 핫스팟 탐지 기술은 큰 지식 기반에서 상호작용형 디버깅의 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 상호작용형 디버깅 프레임워크는 타당성과 완전성을 모두 확보하여 오직 최소한의 정확한 수정만 제안한다.
• 동적HS 알고리즘은 사용자 답변에 실시간으로 적응함으로써 진단 검색 공간을 크게 줄여 효율성을 향상시킨다.
• 엔트로피 기반 질의 선택은 정확한 진단을 식별하기 위해 필요한 예상 질의 수를 감소시키며, 단순한 전략보다 뛰어난 성능을 보인다.
• 정적HS 알고리즘은 고카디널리티 결함 상황에서도 보장된 제거를 통해 정확한 진단으로의 수렴을 보장한다.
• 기원 및 사용자 역할 정보의 통합은 질의 추천 시스템을 향상시켜 전문가 중심의 디버깅 워크플로우를 가능하게 한다.
• 미래 작업에서는 핫스팟 탐지 및 모듈러 추론(예: HermiT와 ELK의 조합)이 큰 지식 기반에서의 확장성 향상에 기여할 수 있다.