[論文レビュー] Black-box Testing of First-Order Logic Ontologies Using WordNet

Javier Álvez, Paqui Lucio+1 more|arXiv (Cornell University)|May 29, 2017

Natural Language Processing Techniques被引用数 3

ひとこと要約

本稿では、WordNetおよびそのマッピングを用いて自動的に15,000件を超えるコンピテンシーユニット（CQs）を生成する、一階論理（FOL）オントロジーのための新規ブラックボックステスト手法を提示する。この手法により、FOLオントロジーの翻訳、SUMO-WordNetマッピング、およびATPの性能を自動評価可能となり、既存システムにおける知識の空白や推論の制限が明らかになった。

ABSTRACT

Artificial Intelligence aims to provide computer programs with commonsense knowledge to reason about our world. This paper offers a new practical approach towards automated commonsense reasoning with first-order logic (FOL) ontologies. We propose a new black-box testing methodology of FOL SUMO-based ontologies by exploiting WordNet and its mapping into SUMO. Our proposal includes a method for the (semi-)automatic creation of a very large benchmark of competency questions and a procedure for its automated evaluation by using automated theorem provers (ATPs). Applying different quality criteria, our testing proposal enables a successful evaluation of a) the competency of several translations of SUMO into FOL and b) the performance of various automated ATPs. Finally, we also provide a fine-grained and complete analysis of the commonsense reasoning competency of current FOL SUMO-based ontologies.

研究の動機と目的

• FOLオントロジーにおける常識的推論のためのスケーラブルで自動化された評価手法の不足に対処すること。
• オントロジー検証のためのコンピテンシーユニット（CQ）を手作業で作成する作業集約的なプロセスを克服すること。
• SUMOベースのFOLオントロジーの推論コンピテンシーおよび自動定理プローバー（ATPs）の性能を評価すること。
• SUMO-WordNetマッピングの品質および正しさを評価し、自動推論に与える影響を分析すること。
• FOLオントロジーやATPsの常識的推論評価のための大規模で再利用可能なベンチマークを提供すること。

提案手法

• WordNetのシングレットおよび意味的関係（例：結果、下位関係）を活用して、FOLにおける形式的仮説を生成する。
• 事前に整備されたSUMO-WordNetマッピングを用いて、WordNetのシングレットを包含関係に基づきSUMO概念に変換する。
• 標準化された質問パターンの少数を適用し、意味的関係から一対のCQ（真、偽）を体系的に導出する。
• WordNetの関係およびSUMOマッピングから、自動的に7,500組のCQ（合計15,000件）を生成する。
• 一貫した時間制限およびメモリ制限を設け、自動定理プローバー（ATPs）を用いて各CQの証明可能性を評価する。
• ATPの証明を分析し、公理の使用状況、カバー範囲、知識の欠落や推論の制限による未解決問題を特定する。

実験結果

リサーチクエスチョン

• RQ1 WordNetおよびそのSUMOマッピングを体系的に活用することで、FOLオントロジーのための大規模で自動化されたコンピテンシーユニットベンチマークを生成できるか？
• RQ2 TPTP-SUMO や Adimen-SUMO などの異なるFOL翻訳は、生成されたCQの推論にどの程度効果的か？
• RQ3 SUMO-WordNetマッピングは、FOLオントロジーにおける正しい常識的推論をどの程度支援するか？
• RQ4 同じベンチマークCQを評価する際、さまざまなATPの強みと限界は何か？
• RQ5 ATPで発生する推論失敗の種類は何か？これは欠落した知識によるものか、本質的な推論の制限によるものか？

主な発見

• 本手法により、7,500組のCQ（合計15,000件）が正常に生成され、SUMOベースのFOLオントロジーにおける最大規模の既知のベンチマークが構築された。
• 知識が正しく、マッピングが正確な場合、ATPは95％の問題を解決した。これは強力なベースライン性能を示している。
• 正しくマッピングされた25件中22件の未解決問題は、オントロジー内に欠落した公理に起因しており、知識の空白が顕在化された。
• 理論的には解けるが、リソース制限内でATPが証明できない3件の問題は、正しい知識があるにもかかわらず推論の制限が原因であることを示した。
• 手動評価により、特に形容詞の分野でマッピングの欠陥が判明し、ATP性能における偽陰性が特定された。
• 本ベンチマークにより、ATPの挙動を細かく分析可能となり、各システムが同一の制約下で固有の問題のサブセットを解決していた。