[論文レビュー] Fix your Models by Fixing your Datasets

Atindriyo Sanyal, Vikram Chatterji+4 more|arXiv (Cornell University)|Dec 15, 2021

Big Data and Business Intelligence被引用数 4

ひとこと要約

本論文では、ノイジーサンプルを体系的に特定し、ラベリングに最も有益なサンプルを選択することで、機械学習モデルのパフォーマンスを向上させるデータ中心のフレームワークを提案する。信頼度-確信度および確信度ベースの手法を用いることで、ラベリングコストを削減し、精度を向上させる。ノイズの多いラベルを除去した後、毒性データセットでは最大99.7%のF1スコア、企業内データでは92.7%のF1スコアを達成した。

ABSTRACT

The quality of underlying training data is very crucial for building performant machine learning models with wider generalizabilty. However, current machine learning (ML) tools lack streamlined processes for improving the data quality. So, getting data quality insights and iteratively pruning the errors to obtain a dataset which is most representative of downstream use cases is still an ad-hoc manual process. Our work addresses this data tooling gap, required to build improved ML workflows purely through data-centric techniques. More specifically, we introduce a systematic framework for (1) finding noisy or mislabelled samples in the dataset and, (2) identifying the most informative samples, which when included in training would provide maximal model performance lift. We demonstrate the efficacy of our framework on public as well as private enterprise datasets of two Fortune 500 companies, and are confident this work will form the basis for ML teams to perform more intelligent data discovery and pruning.

研究の動機と目的

• MLワークフローにおける体系的でないデータ品質ツールの欠如が、非効率的で手作業によるデータクリーニングやラベリングを引き起こす問題に対処する。
• データセットのサイズを無闇に増やすのではなく、誤ってラベリングされたデータを特定・削除することで、モデルの訓練コストを削減し、一般化性能を向上させる。
• 限られたラベリング予算を最適化し、モデルパフォーマンスの向上に最大の寄与をするサンプルを選び、性能向上を最大化する。
• データ中心の技術を用いて、生産環境のMLシステムにおけるスケーラブルで自動化されたデータ観測を実現する。
• 実世界の影響を検証するため、公共および企業内データセットの両方で実用的応用の有効性を示す。

提案手法

• モデルの信頼度（μ）と予測マージン（δ）を組み合わせたデータ依存の信頼度-確信度指標を用い、各サンプルの誤ラベルの可能性をスコア化する。
• 最終トレーニングエポックの出力に基づき、信頼度-確信度スコアの下位90百分位数をノイジーラベル候補として採用する。
• クラスの条件付き結合分布（Q）を推定するためのConfident Learningを用いたデータに依存しないアプローチを実装し、高い信頼度スコアを用いて誤ラベルのサンプルを同定する。
• 未ラベルデータに対してコアセット選択を適用し、最小限のラベリング予算でモデルパフォーマンスを向上させる多様で影響力のあるサンプルを特定する。
• 事前学習済みベースラインのモデル埋め込みを用いてコアセットの多様性を計算し、意思決定境界およびレアクラスタをカバーするように保証する。
• 両手法を統合したパイプラインを構築し、反復的なデータプリーニングと選択的ラベリングを可能にすることで、人的作業を最小限に抑えつつパフォーマンス向上を最大化する。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャを変更せずに、機械学習データセットにおけるノイジーや誤ってラベリングされたサンプルを体系的に検出する方法は何か？
• RQ2 実世界のデータセットにおいて、誤ラベルの同定に際して、データ依存的手法とデータに依存しない手法の相対的な有効性は何か？
• RQ3 限られたラベリング予算を最適に配分することで、モデルパフォーマンスの向上を最大限に得るにはどうすればよいか？
• RQ4 コアセット選択は、モデル学習に適した多様で有益なサンプルを捉える点で、確信度ベースのサンプリングを上回るか？
• RQ5 データ中心の技術は、生産環境においてラベリングコストをどれほど削減し、モデルの正確性と頑健性を向上させられるか？

主な発見

• 信頼度-確信度手法は、Newsgroup20データセットで2,032件の誤ってラベリングされたサンプルを同定し、誤差に起因する性能低下を軽減し、F1スコアを98.9%まで向上させた。
• 確信度ベース手法は、Toxicityデータセットで99.7%のF1スコアを達成し、ベースラインモデルを上回り、ノイズの多い実世界データにおいても優れた一般化性能を示した。
• コアセットサンプリングは、Newsgroup20データセットでわずか300件のサンプル選択でF1スコア0.52を達成し、多様なデータ領域を捉える点で、ランダムおよび確信度ベースのサンプリングを上回った。
• 企業内プライベートデータセットでは、それぞれ382件および117件の誤ラベルが削除され、プリーニング後、精度が92.7%および86.3%に向上した。
• コアセット手法は、埋め込み空間の右上領域に存在する以前に見つからなかったクラスタを捉えており、確信度ベースのサンプリングに比べて優れた多様性を示した。
• このフレームワークにより、性能に妥協をきたさずに、より小さな高品質なデータセットを用いることで、モデルの訓練時間とアノテーションコストを削減した。