[論文レビュー] Towards Better Response Times and Higher-Quality Queries in Interactive Knowledge Base Debugging

Patrick Rodler|arXiv (Cornell University)|Sep 8, 2016

Machine Learning and Algorithms参考文献 19被引用数 14

ひとこと要約

本稿は、論理的推論エンジンに依存せず、3段階のヒューリスティックフレームワークを用いたインタラクティブな知識ベースデバッグ手法を提案する。この手法は、標準化されたクエリとヒッティングセットツリー探索を活用することで、最小限の推論コストで高品質なクエリを生成する。論理的推論エンジンに依存せず、最適なクエリ品質とユーザーフrndlinessを実現しており、従来手法と比較して応答時間を著しく短縮し、クエリの理解可能性を向上させる。

ABSTRACT

Many AI applications rely on knowledge encoded in a locigal knowledge base (KB). The most essential benefit of such logical KBs is the opportunity to perform automatic reasoning which however requires a KB to meet some minimal quality criteria such as consistency. Without adequate tool assistance, the task of resolving such violated quality criteria in a KB can be extremely hard, especially when the problematic KB is large and complex. To this end, interactive KB debuggers have been introduced which ask a user queries whether certain statements must or must not hold in the intended domain. The given answers help to gradually restrict the search space for KB repairs. Existing interactive debuggers often rely on a pool-based strategy for query computation. A pool of query candidates is precomputed, from which the best candidate according to some query quality criterion is selected to be shown to the user. This often leads to the generation of many unnecessary query candidates and thus to a high number of expensive calls to logical reasoning services. We tackle this issue by an in-depth mathematical analysis of diverse real-valued active learning query selection measures in order to determine qualitative criteria that make a query favorable. These criteria are the key to devising efficient heuristic query search methods. The proposed methods enable for the first time a completely reasoner-free query generation for interactive KB debugging while at the same time guaranteeing optimality conditions, e.g. minimal cardinality or best understandability for the user, of the generated query that existing methods cannot realize. Further, we study different relations between active learning measures. The obtained picture gives a hint about which measures are more favorable in which situation or which measures always lead to the same outcomes, based on given types of queries.

研究の動機と目的

• 論理的推論呼び出しの高コストとヒューリスティックの非効率性が原因で生じる、インタラクティブなKBデバッグにおける応答時間の長さとクエリ品質の低さを解消すること。
• クエリ生成時に論理的推論エンジンに依存することなく、クエリの最適性を維持または向上させること。
• 同等の候補の中から最も理解しやすく、最小限のクエリを選択する方法を開発すること。
• 3段階のプロセス（qパーティション探索、ヒッティングセットツリー探索、クエリの拡張・最小化）を通じて、効率的かつ最適なクエリ計算を可能にすること。
• 情報量の増加などのクエリ品質指標を最適化しつつ、ユーザーフrndlinessと論理的一致性を維持すること。

提案手法

• 論理的推論に依存しないクエリ生成の基盤として、標準化クエリを導入し、推論呼び出しを一切行わずに理論的最適性の保証を可能にする。
• 質的基準に基づくヒューリスティクスを用いた、深さ優先かつローカルベストファーストのバックトラッキング探索を通し、qパーティションの最適な分割を特定する。
• ヒッティングセットツリー探索を用いて、標準化クエリパーティションから最良のクエリを抽出し、基数や理解しやすさなどの基準に基づくベストファースト順序付けを実現する。
• 基本クエリに論理的に依存する事前に定義された単純な論理形式（例：含意）を用いたクエリ拡張ステップを適用し、推論呼び出しはたった2回で済ませる。
• 複雑な記述の削除を優先し、理解しやすい記述を保持するように変更されたクエリ最小化戦略を実装し、ユーザの負担を最小限に抑える。
• 拡張および最小化のプロセス中でもqパーティションが不変であることを保証し、選択された品質指標に基づくクエリの最適性が維持されることを確保する。

実験結果

リサーチクエスチョン

• RQ1 論理的推論サービスに依存せずに、インタラクティブなKBデバッグにおけるクエリ生成が、クエリ品質を維持または向上させながら可能になるか。
• RQ2 知識ベースデバッグにおいて、同等の候補の中から最も理解しやすく、最小限のクエリを選択するために、ヒッティングセットツリー探索をどのように効果的に適応できるか。
• RQ3 クエリ拡張が、与えられた品質指標に関してクエリの最適性を保つために必要な基準は何か。
• RQ4 クエリ最小化をどのように変更すれば、論理的正しさを維持しつつユーザーフrndlinessを優先できるか。
• RQ5 KBデバッグにおけるさまざまなアクティブラーニング指標の間にはどのような関係があるか。特定の条件下ではどの指標が優れているか。

主な発見

• 本手法は、初めて完全に論理的推論エンジンに依存しないクエリ生成を実現し、クエリ計算中に推論呼び出しを一切不要にした。
• フレームワークは、情報量の増加などの与えられたクエリ品質指標に関して、生成されたクエリが最適であることを保証する。これは、従来の手法では達成できない。
• ヒッティングセットツリー探索により、基数の最小化や理解しやすさといった二次的基準に基づくベストファーストクエリ選択が可能となり、従来のアプローチには欠けていた機能を実現した。
• クエリ拡張および最適化ステップでは、多項式時間の推論呼び出し回数に収まり、特に拡張には2回、最小化には多項式回数の呼び出しで十分である。
• 本手法は、クエリ拡張が根本的なqパーティションを変更しないことを保証しており、選択された品質指標に基づくクエリの最適性が維持されることを保証する。
• 理論的分析により、変更された最小化戦略が、現実的な仮定のもとでユーザの負担が最小限のクエリを特定することを確認した。これにより、ユーザビリティが向上した。