[論文レビュー] Validating WordNet Meronymy Relations using Adimen-SUMO

Javier Álvez, Itziar González-Dios+1 more|arXiv (Cornell University)|May 20, 2018

Natural Language Processing Techniques被引用数 1

ひとこと要約

本稿では、一階論理の自動定理証明者（ATP）およびAdimen-SUMOオントロジーを用いて、WordNetの部分関係を半自動で検証するフレームワークを提示する。WordNet-SUMOマッピングの反復的改善とオントロジー整合性の是正を通じて、WordNetの部分関係の検証率を6%から33%まで向上させ、わずか26時間の手作業作業でF1スコアが35ポイント向上した。

ABSTRACT

In this paper, we report on the practical application of a novel approach for validating the knowledge of WordNet using Adimen-SUMO. In particular, this paper focuses on cross-checking the WordNet meronymy relations against the knowledge encoded in Adimen-SUMO. Our validation approach tests a large set of competency questions (CQs), which are derived (semi)-automatically from the knowledge encoded in WordNet, SUMO and their mapping, by applying efficient first-order logic automated theorem provers. Unfortunately, despite of being created manually, these knowledge resources are not free of errors and discrepancies. In consequence, some of the resulting CQs are not plausible according to the knowledge included in Adimen-SUMO. Thus, first we focus on (semi)-automatically improving the alignment between these knowledge resources, and second, we perform a minimal set of corrections in the ontology. Our aim is to minimize the manual effort required for an extensive validation process. We report on the strategies followed, the changes made, the effort needed and its impact when validating the WordNet meronymy relations using improved versions of the mapping and the ontology. Based on the new results, we discuss the implications of the appropriate corrections and the need of future enhancements.

研究の動機と目的

• 本稿の目的は、形式的オントロジーを基準にした自動検証を通じて、WordNetの部分関係に生じる整合性の欠如を是正することである。
• WordNetとSUMOの間のマッピングを改善することで、手作業による検証作業を削減することを目的としている。
• 論理的推論とオントロジーの是正を用いて、部分関係（部品、メンバー、物質）の正確性を向上させることを焦点としている。
• 構造的・機会的・オントロジー的是正の影響が検証性能に与える影響を評価している。
• 形式的オントロジーと自動定理証明を用いた、スケーラブルで半自動的な語彙的知識ベースの検証手法を確立することを目的としている。

提案手法

• コンピテンシー・クエスチョン（CQ）は、事前に定義された質問パターンを用いて、WordNet、SUMO、およびそれらのマッピングから半自動で生成される。
• 一階論理（FOL）ATPを用いて、これらのCQがAdimen-SUMOオントロジーに対して論理的含意を満たすかを評価する。
• 本アプローチは3段階に分けられる：（1）不正なCQの特定、（2）WordNet-SUMOマッピングの改善、（3）Adimen-SUMOオントロジーの是正。
• ATPの失敗解析に基づき、構造的・機会的・オントロジー的問題に限定的に手作業で是正が施される。
• 検証プロセスは反復的であり、各段階でマッピングとオントロジーが精練され、ATPの成功確率が向上する。
• 既存の語彙的およびオントロジー的リソースを活用することで、手作業の介入を最小限に抑えつつ論理的一致性を最大化する。

実験結果

リサーチクエスチョン

• RQ1 自動定理証明を用いて、Adimen-SUMOに対してWordNetの部分関係をどの程度検証できるか？
• RQ2 SUMOと照合した際のWordNetの部分関係の検証率が低い主な原因は何か？
• RQ3 半自動的是正パイプラインは、部分関係の検証率をどの程度効果的に向上させられるか？
• RQ4 オントロジー水準の是正とマッピング水準の是正の両者が検証性能に与える影響は何か？
• RQ5 最小限の手作業で、語彙的知識ベースの論理的一致性を著しく向上させられるか？

主な発見

• Adimen-SUMOに対する初期の検証率はわずか6%であり、顕著な整合性の欠如を示している。
• 半自動的是正パイプラインを適用した後、検証率は約33%まで上昇し、F1スコアが35ポイント向上した。
• 是正プロセスにはわずか26時間の手作業作業しか必要とせず、エラー是正の効率性が裏付けられた。
• 構造的およびオントロジー的是正の影響が機会的修正よりも顕著であり、特にオントロジーの変更が大きな影響を与えた。
• 検証不能となった関係の大部分は、システム的ATP制限ではなく、個別のマッピングエラーまたは欠落したオントロジー公理に起因していた。
• 本研究は、的を絞った最小限の手作業介入が、大規模な語彙的意味的リソースの論理的一致性を著しく向上させられることを確認した。