[論文レビュー] Measuring Data

Margaret Mitchell, Alexandra Sasha Luccioni+8 more|arXiv (Cornell University)|Dec 9, 2022

Machine Learning and Data Classification被引用数 7

ひとこと要約

この論文は、データサイズ、モダリティ、バイアスなどの明確に定義された次元に沿って機械学習データセットを定量的に特徴付けるための体系的タスクとして「データの測定」を導入する。これにより、データセットのキュレーション、監査、モデル制御が向上する。自然言語処理、コンピュータビジョン、倫理分野からの異なる測定アプローチを統合することで、標準化され自動化されたデータ分析の枠組みを確立し、データセットの透明性を高め、予期しないモデル行動を低減する。

ABSTRACT

We identify the task of measuring data to quantitatively characterize the composition of machine learning data and datasets. Similar to an object's height, width, and volume, data measurements quantify different attributes of data along common dimensions that support comparison. Several lines of research have proposed what we refer to as measurements, with differing terminology; we bring some of this work together, particularly in fields of computer vision and language, and build from it to motivate measuring data as a critical component of responsible AI development. Measuring data aids in systematically building and analyzing machine learning (ML) data towards specific goals and gaining better control of what modern ML systems will learn. We conclude with a discussion of the many avenues of future work, the limitations of data measurements, and how to leverage these measurement approaches in research and practice.

研究の動機と目的

• 機械学習におけるデータセットの構成と特性を定量化するため、'measuring data' を明確に定義された体系的タスクとして形式化すること。
• 自然言語処理、コンピュータビジョン、倫理分野から既存の測定アプローチを統合し、データセット分析のための共通フレームワークを構築すること。
• 測定可能で比較可能かつ実行可能なデータ特性を提供することで、より良いデータセットのキュレーション、監査、モデル制御を可能にすること。
• 特に人間の理解を超える規模にまで拡大するデータセットにおいて、体系的なドキュメント作成と分析の欠如に応えること。
• 過剰代表や埋め込まれたバイアスなどの問題的なデータアーチファクトを特定・低減することで、責任あるAI開発を支援すること。

提案手法

• 物理科学および計量学の原則に基づくデータ測定の分類法を提案し、基本的・導出的属性、および強度的・拡張的属性を区別する。
• データサイズ、モダリティ（テキスト、画像など）、文の長さ、画像解像度、バイアス指標などの主な測定可能な次元を同定する。
• データ収集中にリアルタイムで測定を実施し、サンプリング意思決定を支援し、データセット品質を向上させること。
• モデル出力（例：言語モデルの生成物）に測定を適用することで、学習されたパターンやバイアスを検出すること。
• 公平性および倫理研究分野の既存指標（例：バイアス検出、データ品質スコア）を、基盤となる測定ツールとして活用すること。
• メタデータ、時系列、マルチモーダル相互作用を追加の測定次元として奨励すること。

実験結果

リサーチクエスチョン

• RQ1 機械学習データセットにおいて、データの構成と特性を体系的に測定する方法は何か？
• RQ2 異なるドメインやモダリティ間でデータセットを比較するために使用できる共通の次元と指標は何か？
• RQ3 リアルタイムでのデータ測定は、トレーニング中のデータセットキュレーションおよびモデルパフォーマンスをどのように改善するか？
• RQ4 モデル出力の測定は、訓練データから学習されたバイアスや予期しない行動をどのように明らかにできるか？
• RQ5 ML研究および産業分野で測定実践を標準化することで、責任あるAI開発をどのように支援できるか？

主な発見

• データの測定により、平均文長や画像サイズの収集バッチごとの変化を追跡することで、データの含める基準を定量的に提供し、体系的なデータセットキュレーションが可能になる。
• データ測定は、人手による点検が困難なほど大きなデータセットにおいて特に重要となる、データセット間の比較およびドキュメント作成を支援する。
• モデル出力に測定を適用することで、言語モデルの生成物やオブジェクト検出ラベルで検出されたように、学習されたバイアスやパターンを明らかにできる。
• 公平性、倫理、NLP研究分野の既存指標を統合した統一された測定フレームワークの統合により、データセットの透明性と監査可能性が向上する。
• データの測定により、モデルが学ぶ内容に対するより高い制御が可能となり、キュレーションされていないデータからの予期しない行動のリスクを低減できる。
• 著者らは、多くの測定技術が存在する一方で、機械学習における体系的なデータ測定のための共通フレームワークや語彙が現在存在しないという重要な研究ギャップを同定した。