[論文レビュー] Towards quantitative measures in applied ontology

Robert Hoehndorf, Michel Dumontier+1 more|arXiv (Cornell University)|Feb 16, 2012

Semantic Web and Ontologies参考文献 44被引用数 51

ひとこと要約

本論文は、応用的オントロジー研究が、抽象的な哲学的または形式的基準ではなく、現実世界のドメインタスクにおけるパフォーマンスに基づいて評価されなければならないと提唱する。定量的指標—例えば、正確率（precision）、再現率（recall）、F-measure、AUC—をバイオメディスン分野のオントロジーに基づくタスクに適用することで、客観的で再現可能かつ比較可能な評価を可能にし、応用的オントロジー分野における厳密な研究手法の基盤を築くことを目指す。

ABSTRACT

Applied ontology is a relatively new field which aims to apply theories and methods from diverse disciplines such as philosophy, cognitive science, linguistics and formal logics to perform or improve domain-specific tasks. To support the development of effective research methodologies for applied ontology, we critically discuss the question how its research results should be evaluated. We propose that results in applied ontology must be evaluated within their domain of application, based on some ontology-based task within the domain, and discuss quantitative measures which would facilitate the objective evaluation and comparison of research results in applied ontology.

研究の動機と目的

• 応用的オントロジー研究における標準的で客観的な評価基準の欠如に応えること。
• オントロジー研究が、哲学的または形式論理的根拠ではなく、ドメイン固有のタスクにおけるパフォーマンスに基づいて評価されなければならないことを主張すること。
• 再現性と比較可能性を可能にするために、正確率（precision）、再現率（recall）、F-measure などの定量的指標の採用を促進すること。
• 主観的または定性的基準ではなく、タスクベースで実証的な評価に基づく、応用的オントロジーの研究手法を確立すること。
• 研究コミュニティが共通の評価基準に合意することで、分野を体系的かつ透明に前進させることを促すこと。

提案手法

• テキストマイニング、遺伝子機能予測、データ統合などの具体的なドメイン応用におけるオントロジー研究の影響に基づいて評価することを提唱する。
• 情報科学分野で標準的に用いられる定量的指標—正確率（precision）、再現率（recall）、F-measure、受信者操作特性曲線（ROC）の下側面積（AUC）—を推奨する。
• ゴールドスタンダードとの比較とカッパ統計量を用いて、専門家によるアノテーションとオントロジーに基づく結果との一貫性を評価することを提言する。
• テキスト定義の質やドキュメンテーションの明確さなどの基準を評価するために、ユーザースタディや自動化手法の活用を奨励する。
• OBO関係オントロジーから共有される関係を再利用してオントロジーを統合し、ゴールドスタンダードとの照合に対して推論の成功度を測定することで、オントロジー間の相互運用性を定量的に評価することを提言する。
• 形式的整合性のみではなく、タスクパフォーマンスへの影響に基づいて、オントロジーデザインパターンや開発手法の評価を推進することを提唱する。

実験結果

リサーチクエスチョン

• RQ1 標準的で定量的な指標が欠如している状況下で、どのように応用的オントロジー研究を客観的に評価できるか？
• RQ2 なぜ哲学的または形式論理的基準に基づく評価では、オントロジー研究の現実世界への影響を十分に評価できないのか？
• RQ3 バイオメディスン応用分野において、異なるオントロジーベースの手法を比較するために使用できる定量的指標は何か？
• RQ4 オントロジー内の整合性と正しさは、ドメインタスクにおける測定可能なパフォーマンス結果とどのように結びつけることができるか？
• RQ5 ドキュメンテーション、命名規則、共同開発などのコミュニティ主導の基準は、効果的な評価を可能にする上で果たす役割は何か？

主な発見

• 正確率（precision）、再現率（recall）、F-measure、AUC といった定量的評価指標は、応用的状況下でのオントロジーベースの研究手法を客観的に比較するために不可欠である。
• オントロジー研究の評価は、オントロジー自体ではなく、定義されたタスク上で「オントロジー＋アプリケーション」の完全なシステムのパフォーマンスに基づくべきである。
• ゴールドスタンダードと評価者間一致（例：カッパ統計量）の使用により、オントロジーに基づく結果の信頼性ある実証的検証が可能になる。
• 形式的整合性や矛盾の不在といった基準は価値あるものだが、それらは測定可能なタスク成果に与える影響によって正当化されるべきである。
• OBO関係オントロジーから共有される関係を再利用してオントロジーを統合し、ゴールドスタンダードとの照合に対して推論の成功度を測定することで、オントロジー間の相互運用性を定量的に評価できる。
• 定量的指標の採用により、オントロジー開発手法の体系的評価が可能となり、応用的オントロジーが科学的学問分野としての長期的進歩を支えることができる。