[論文レビュー] A domain-specific language for describing machine learning datasets

Joan Giner-Miguelez, Abel Gómez+1 more|arXiv (Cornell University)|Jul 5, 2022

Scientific Computing and Data Management参考文献 25被引用数 4

ひとこと要約

本論文は、機械学習データセットを形式的に記述するためのドメイン固有言語（DSL）を紹介している。このDSLは、データ構造、データのルーツ（プロバンス）、バイアスや公平性といった社会的懸念を捉える。Visual Studio Codeプラグインとして実装されており、機械可読のデータセットドキュメンテーションを可能にし、自動分析、データセット比較、機械学習研究における再現性の向上を支援する。

ABSTRACT

Datasets play a central role in the training and evaluation of machine learning (ML) models. But they are also the root cause of many undesired model behaviors, such as biased predictions. To overcome this situation, the ML community is proposing a data-centric cultural shift where data issues are given the attention they deserve, and more standard practices around the gathering and processing of datasets start to be discussed and established. So far, these proposals are mostly high-level guidelines described in natural language and, as such, they are difficult to formalize and apply to particular datasets. In this sense, and inspired by these proposals, we define a new domain-specific language (DSL) to precisely describe machine learning datasets in terms of their structure, data provenance, and social concerns. We believe this DSL will facilitate any ML initiative to leverage and benefit from this data-centric shift in ML (e.g., selecting the most appropriate dataset for a new project or better replicating other ML results). The DSL is implemented as a Visual Studio Code plugin, and it has been published under an open source license.

研究の動機と目的

• 機械学習データセットの標準的で形式的なドキュメンテーションの欠如が再現性や公平性を損なうという問題に対処する。
• 自然言語ベースのドキュメンテーション（例：Datasheets for Datasets）の限界を克服し、機械処理可能なデータセット記述を可能にする。
• データ中心の機械学習実践を支援するため、社会的影響、品質指標、プロバンスを含むデータセットメタデータを形式化する。
• モデル駆動工学（MDE）手法を用いて、自動分析、比較、データセット選定を可能にする。
• 将来的なデータセットマーケットプレイスの構築を支援するため、構造的なデータセット要件に基づく検索と発見を可能にする。

提案手法

• データ構造、プロバンス、品質指標、社会的懸念を扱う構造的構文を持つドメイン固有言語（DSL）を設計する。
• 構文強調、検証、自動補完を含む完全な言語サポートを備えたVisual Studio CodeプラグインとしてDSLを実装する。
• モデル駆動工学（MDE）の原則に従い、データセット記述を一等級のモデルとして扱い、既存のMDEツールで操作可能にする。
• データセット比較、品質検証、DSLモデルからのドキュメンテーション／コード生成などの操作をサポートする。
• 不確実なデータ属性やプロバンス情報も形式的に表現できるように、不確実性モデリングを統合する。
• 将来的にMLモデルやMLパイプライン全体を記述できるように拡張する計画であり、モデル動作のエンドツーエンド分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有言語（DSL）は、データ構造、プロバンス、社会的影響といった機械学習データセットの主要な側面をどのように形式化できるか？
• RQ2 自然言語ガイドラインと比較して、DSLはデータセットドキュメンテーションの包括性と機械可読性をどの程度向上できるか？
• RQ3 データセットを構造的モデルとして表現することで、どのような自動化操作（例：比較、検索、検証）が可能になるか？
• RQ4 データセットメタデータにおける不確実性（例：曖昧なプロバンスや品質）をDSLで形式的に表現するにはどうすればよいか？
• RQ5 DSLは、将来的なデータセットマーケットプレイスの実現や、機械学習研究における再現性の向上にどのような役割を果たせるか？

主な発見

• DSLは、自然言語ドキュメンテーションの範囲を超えて、データ構造、プロバンス、品質指標、社会的懸念といったコアなデータセット次元を効果的にモデル化できた。
• 既存のデータセットの手動分析から、統計的要約の欠落や不完全なプロバンス情報といった顕著なドキュメンテーションのギャップが明らかになった。DSLはこうした欠落や不整合を特定・形式化するのに役立つ。
• DSLは機械処理可能なデータセット記述を可能にし、複数のデータセット間での自動検証、比較、検索の道筋を築いた。
• VS Codeプラグインとしての実装により、データセット作成者に対して実用的な支援が可能となり、最新のIDE機能を統合した使いやすさが実現された。
• DSLのモデルベースの基盤により、将来的な拡張性が保証されており、不確実性モデリング、使用権、MLモデル記述との統合も可能である。
• 予備的な評価から、DSLが既存データセットにおける欠落や一貫性のない情報の特定に有効であることが確認され、より良いドキュメンテーション慣行の促進に貢献した。