[論文レビュー] Interactive Debugging of Knowledge Bases

Patrick Rodler|arXiv (Cornell University)|May 19, 2016

AI-based Problem Solving and Planning参考文献 15被引用数 42

ひとこと要約

本稿では、意図的かつ不適切な帰結に関するユーザーのクエリを用いて、単調な知識ベースのインタラクティブデバッグを完全かつ整合的かつ最小限の侵入で行う手法を提示する。矛盾集合に基づくクエリを通じて解候補を反復的に削除することで、理論的保証のもとで正しくかつ効率的に、一意の意味論的 correct な修復に収束する。

ABSTRACT

Many AI applications rely on knowledge about a relevant real-world domain that is encoded by means of some logical knowledge base (KB). The most essential benefit of logical KBs is the opportunity to perform automatic reasoning to derive implicit knowledge or to answer complex queries about the modeled domain. The feasibility of meaningful reasoning requires KBs to meet some minimal quality criteria such as logical consistency. Without adequate tool assistance, the task of resolving violated quality criteria in KBs can be extremely tough even for domain experts, especially when the problematic KB includes a large number of logical formulas or comprises complicated logical formalisms. Published non-interactive debugging systems often cannot localize all possible faults (incompleteness), suggest the deletion or modification of unnecessarily large parts of the KB (non-minimality), return incorrect solutions which lead to a repaired KB not satisfying the imposed quality requirements (unsoundness) or suffer from poor scalability due to the inherent complexity of the KB debugging problem. Even if a system is complete and sound and considers only minimal solutions, there are generally exponentially many solution candidates to select one from. However, any two repaired KBs obtained from these candidates differ in their semantics in terms of entailments and non-entailments. Selection of just any of these repaired KBs might result in unexpected entailments, the loss of desired entailments or unwanted changes to the KB. This work proposes complete, sound and optimal methods for the interactive debugging of KBs that suggest the one (minimally invasive) error correction of the faulty KB that yields a repaired KB with exactly the intended semantics. Users, e.g. domain experts, are involved in the debugging process by answering automatically generated queries about the intended domain.

研究の動機と目的

• 非インタラクティブなデバッグツールには、しばしば不完全性、非最小性、整合性の欠如、または大規模・複雑な知識ベースにおけるスケーラビリティの悪さといった限界があるため、それらを解消すること。
• ドメインエキスパートが、帰結に関する標的のクエリを通じて、知識ベースの障害を効率的に局所化および修復できるようにすること。
• 最終的な修復済み知識ベースが、すべての望ましい意味論的性質を保持し、不測の変更や新たな障害を避けるようにすること。
• インタラクティブデバッグの理論的基盤を提供すること、特に矛盾集合、診断、クエリ分割といった重要な概念の定義を含むこと。
• 最小限のユーザーのインタラクションと計算コストで、正しい診断に収束することを保証するアルゴリズムを開発すること。

提案手法

• 不整合な知識ベースから最小矛盾集合を構築し、不整合の原因となっている論理式の部分集合を同定する。
• 主な診断のペアに基づいてユーザークエリを生成し、特定の論理式の帰結をテストすることで、2つの候補修復を区別する。
• Q-パーティションを用いて、各クエリの回答が残りの解空間に与える影響をモデル化し、診断の系統的削減を可能にする。
• 検索空間を効率的に削減するため、静的プルーニングを行う staticHS と、動的で適応的なプルーニングを行う dynamicHS の2つの反復的診断計算アルゴリズムを実装する。
• ヒッティングセットツリー技術を用いて診断空間を表現・走査し、ユーザーの回答に従ってプルーニングをガイドすることで計算量を最小限に抑える。
• 期待されるクエリ数を最小限に抑えるために、確率ベースおよびエントロピーに基づくクエリ選択戦略を統合する。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブデバッグは、完全かつ整合的な知識ベースの修復を達成できるか。また、最小限の侵入性を保証できるか。
• RQ2 ユーザーのクエリは、情報量を最大化し、正しい診断を特定するための対話回数を最小限に抑えるようにどのように生成できるか。
• RQ3 インタラクティブデバッグアルゴリズムの正しさと収束性について、どのような理論的保証を提供できるか。
• RQ4 エントロピーに基づく戦略やリスク最適化戦略といった、異なるクエリ選択戦略は、クエリ効率性およびスケーラビリティの観点でどのように比較できるか。
• RQ5 高度な推論技術やホットスポット検出を用いることで、大規模なKBにおけるインタラクティブデバッグのパフォーマンスはどの程度向上できるか。

主な発見

• 提案されたインタラクティブデバッグフレームワークは、整合的かつ完全であり、最小限で正しい修復のみを提示することを保証する。
• dynamicHS アルゴリズムは、ユーザーの回答にリアルタイムで適応することで、診断探索空間を顕著に削減し、効率性を向上させる。
• エントロピーに基づくクエリ選択は、正しい診断を特定するのに必要な期待クエリ数を削減し、単純な戦略を上回る性能を示す。
• staticHS アルゴリズムは、高基数の障害状況でも、保証されたプルーニングにより正しい診断への収束を保証する。
• プロバンスおよびユーザーの役割情報の統合により、エキスパートに配慮したクエリ推薦システムが向上し、エキスパートに適したデバッグワークフローが可能になる。
• 今後の課題として、ホットスポット検出およびモジュラー推論（例：HermiT と ELK の統合）を用いることで、大規模なKBにおけるスケーラビリティがさらに向上する可能性がある。