[論文レビュー] Evaluating Ontology Matching Systems on Large, Multilingual and Real-world Test Cases

Christian Meilicke, Ondřej Šváb-Zamazal+5 more|arXiv (Cornell University)|Aug 15, 2012

Semantic Web and Ontologies参考文献 25被引用数 3

ひとこと要約

本論文は、OAEI 2011.5キャンペーンにおいて、大規模で多言語的かつ現実世界のテストケースを用いた18のオントロジー整合化システムの評価を、標準化されたベンチマークと自動評価インfrastrutureを用いて実施している。主な貢献は、スケーラビリティの課題、多言語処理の限界、整合性の欠如した整合化結果の特定であり、LogMapが最も整合性の高い結果を達成した一方、GOMMA（背景知識を有する）は大多数のタスクでF-measureで最高を記録した。

ABSTRACT

In the field of ontology matching, the most systematic evaluation of matching systems is established by the Ontology Alignment Evaluation Initiative (OAEI), which is an annual campaign for evaluating ontology matching systems organized by different groups of researchers. In this paper, we report on the results of an intermediary OAEI campaign called OAEI 2011.5. The evaluations of this campaign are divided in five tracks. Three of these tracks are new or have been improved compared to previous OAEI campaigns. Overall, we evaluated 18 matching systems. We discuss lessons learned, in terms of scalability, multilingual issues and the ability do deal with real world cases from different domains.

研究の動機と目的

• 大規模で多言語的かつ現実世界のデータセットにおけるオントロジー整合化システムの性能を評価し、実用的応用性を反映すること。
• オントロジーのサイズと複雑さの増大に伴うシステムのスケーラビリティを評価すること。
• 多言語対応が、特にセマンティックウェブ応用における整合化品質に与える影響を検討すること。
• 整合化の整合性とその後続処理（例：クエリ処理）への影響を分析すること。
• SEALSインfrastrutureを用いた再現可能で自動化された評価を確立し、一貫性のあるベンチマークを実現すること。

提案手法

• 多様な分野（バイオメディカル、会議、多言語オントロジーなど）の標準化されたデータセットを用いて、中間的なOAEIキャンペーン（OAEI 2011.5）を実施した。
• SEALSプロジェクトのインfrastrutureを活用して制御された実行環境を整備し、評価の再現可能性と自動化を確保した。
• 精度、再現率、F-measure、実行時間、および整合化整合性（統合オントロジーに整合化を適用しHermiT推論を用いて評価）を用いてシステムを評価した。
• 基準となる整合化（ゴールドスタンダード）を用いて適合度を測定した。これには、洗練済みおよび元のUMLSベースの整合化が含まれた。
• 複数のテストケースを適用した：ベンチマーク（スケーラビリティ）、MultiFarm（多言語）、Large BioMed（現実世界の複雑性）、およびその他のケース。
• 異なる設定（例：GOMMAの背景知識有無）およびハードウェア（16コアCPU、10GB RAM）におけるパフォーマンスを測定した。

実験結果

リサーチクエスチョン

• RQ1 オントロジー整合化システムは、大規模で現実世界のオントロジーにおいて、精度、再現率、F-measureの観点でどのように性能を発揮するか？
• RQ2 システムは多言語ラベルをどの程度適切に処理できており、言語タイプの違いが整合化品質にどのように影響するか？
• RQ3 オントロジーのサイズと構造的複雑さ（クラス数およびプロパティ数）は、システムのスケーラビリティと実行時間にどのような影響を与えるか？
• RQ4 整合化整合性メトリクスと精度・再現率の相関関係は何か？また、推論に適した整合性の高い整合化を生成するシステムはどれか？
• RQ5 計算リソース（例：マルチコアCPU）の増加がパフォーマンスに顕著な改善をもたらすか？また、どのシステムがそれらを効果的に活用しているか？

主な発見

• GOMMA_bk（背景知識を有するGOMMA）は、タスク1で最高のF-measure（0.921）を達成し、多数のタスクで優れた性能を維持した。最大のタスク（タスク3）ではF-measureが0.818に低下した。
• LogMapは最も整合性の高い整合化を生成した。推論において不満足クラスは検出されなかった。一方、GOMMA_nobkは100％の不満足クラスを示し、高精度ではあるが整合性に欠ける結果を示した。
• 整合性のある整合化を一貫して生成したのは、LogMap、CODI、YAM++の3システムのみであり、整合性評価の分野における顕著なギャップを示している。
• オントロジーのサイズに伴い実行時間が著しく増加した。GOMMA_bkは最大タスク（タスク3）で18分以上を要したが、CSAは全タスクで一貫した結果を示した。
• 多言語対応は依然として弱い。MultiFarmデータセットでは、多言語ラベルを効果的に処理できたのはわずか3システムにとどまり、多言語知識統合における主要な限界を示している。
• 改善は見られたが、ベンチマークおよびLarge BioMedトラックでは、どのシステムもベースラインのLogMapLtをF-measureで上回ることはできず、非自明な対応関係を検出する際の精度損失の高さを示している。