[論文レビュー] ML-Schema: Exposing the Semantics of Machine Learning with Schemas and Ontologies

Gustavo Publio, Diego Esteves+6 more|arXiv (Cornell University)|Jul 14, 2018

Statistical and Computational Modeling被引用数 32

ひとこと要約

ML-Schema は W3C が推奨する上位レベルのオントロジーであり、機械学習メタデータ（アルゴリズム、データセット、モデル、実験など）の表現を形式的なスキーマとオントロジーを用いて標準化する。多様な ML プラットフォーム間での意味的相互運用性を可能にすることで、ML ワークフローと結果の再現可能性、解釈可能性、および異種環境間での交換性が向上する。

ABSTRACT

The ML-Schema, proposed by the W3C Machine Learning Schema Community Group, is a top-level ontology that provides a set of classes, properties, and restrictions for representing and interchanging information on machine learning algorithms, datasets, and experiments. It can be easily extended and specialized and it is also mapped to other more domain-specific ontologies developed in the area of machine learning and data mining. In this paper we overview existing state-of-the-art machine learning interchange formats and present the first release of ML-Schema, a canonical format resulted of more than seven years of experience among different research institutions. We argue that exposing semantics of machine learning algorithms, models, and experiments through a canonical format may pave the way to better interpretability and to realistically achieve the full interoperability of experiments regardless of platform or adopted workflow solution.

研究の動機と目的

• 多様なプラットフォームやツール間における機械学習メタデータにおける意味的標準化の欠如に対処すること。
• 機械学習システム間の相互運用性を実現するために、ML コンポーネントを表すための標準的かつ拡張可能なスキーマを定義すること。
• アルゴリズム、データセット、実験の明示的な意味を公開することで、ML モデルの解釈可能性と信頼性を向上させること。
• OpenML や WASOTA などの既存のオントロジーやメタデータリポジトリとの統合を促進すること。
• MEX や OntoDM、DMOP などの分野固有の語彙と整合することで、ML エコシステム全体における水平的および垂直的相互運用性を支援すること。

提案手法

• OWL および RDF を用いて、機械学習のコアエンティティ（アルゴリズム、データセット、モデル、実験、評価）をモデル化する上位レベルのオントロジーを設計する。
• 正式な意味論と部品/サブクラス関係を備えたクラスとプロパティ（例：Task, Algorithm, Model, Experiment, Run）の階層を定義する。
• ML-Schema を MEX や OntoDM、DMOP などの既存の分野固有のオントロジーにマッピングすることで、意味的整合性と再利用可能性を確保する。
• 形式的な公理と制約を用いて整合性を保証し、ML メタデータ上の推論を可能にする。
• 特定の ML サブドメイン（例：ディープラーニング）向けにクラスとプロパティの特殊化を可能にする拡張性をサポートする。
• TTL/RDF などの標準フォーマットを通じて機械可読のメタデータ交換を可能にし、Web サービスやリポジトリとの統合を促進する。

実験結果

リサーチクエスチョン

• RQ1 機械学習メタデータのための標準的かつ共有可能なスキーマは、異種の ML プラットフォーム間での相互運用性をどのように向上させるか？
• RQ2 統一されたオントロジーは、アルゴリズム、データセット、モデル、実験などの ML コンポーネントの意味をどの程度正確にモデル化できるか？
• RQ3 ML-Schema を用いた意味的標準化は、ML ワークフローの解釈可能性とトレーサビリティを向上させることができるか？
• RQ4 ML-Schema は、MEX や OntoDM、DMOP などの既存の ML やデータマイニングオントロジーとどのように相互運用するか？
• RQ5 標準化されたスキーマを用いることで、ツールやリポジトリ間での ML 実験の再現性と交換性にどのような影響が生じるか？

主な発見

• ML-Schema は、データからモデル評価に至るまで、ML 実験のライフサイクルを標準的かつ拡張可能で機械可読な形式で表現可能である。
• MEX や OntoDM、DMOP などの複数の分野固有のオントロジーへのマッピングにより、水平的相互運用性が実現され、意味的整合性が保証される。
• PROV-O などのプロバンセンスモデルと整合することで、ML 実験の完全なトレーサビリティが可能になり、信頼性と再現性が向上する。
• OpenML や WASOTA などのプラットフォームとの統合により、標準化されたメタデータ交換が可能になり、ML エコシステムにおけるデータ管理が改善される。
• ハイパーパramーターやモデルの特徴、評価指標など、ML コンポーネントの細粒度な表現をサポートしており、解釈性が向上する。
• ML-Schema の初版は、7年以上にわたる共同研究の集積から生まれており、実世界の ML ワークフローにおける成熟度と実用的適用可能性が裏付けられている。