[論文レビュー] Optimizing Data Collection for Machine Learning

Rafid Mahmood, James M. Lucas+3 more|arXiv (Cornell University)|Oct 3, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本稿では、機械学習のための最適なデータ収集フレームワークを提案する。このフレームワークは、将来のコストを最小化し、パフォーマンス目標を満たすことを目的として、データ収集を段階的意思決定問題として定式化する。学習・最適化・収集（LOC）フレームワークを用い、勾配降下法を用いて複数のデータソースにおける動的データ収集量を決定することで、ベースライン推定手法に比べて障害率を最大2倍まで低減し、大幅に低いデータ収集コストでほぼゼロ障害率を達成する。

ABSTRACT

Modern deep learning systems require huge data sets to achieve impressive performance, but there is little guidance on how much or what kind of data to collect. Over-collecting data incurs unnecessary present costs, while under-collecting may incur future costs and delay workflows. We propose a new paradigm for modeling the data collection workflow as a formal optimal data collection problem that allows designers to specify performance targets, collection costs, a time horizon, and penalties for failing to meet the targets. Additionally, this formulation generalizes to tasks requiring multiple data sources, such as labeled and unlabeled data used in semi-supervised learning. To solve our problem, we develop Learn-Optimize-Collect (LOC), which minimizes expected future collection costs. Finally, we numerically compare our framework to the conventional baseline of estimating data requirements by extrapolating from neural scaling laws. We significantly reduce the risks of failing to meet desired performance targets on several classification, segmentation, and detection tasks, while maintaining low total collection costs.

研究の動機と目的

• 機械学習モデルのためのデータ収集量と種別を決定するための体系的指針の欠如に対処し、過剰収集や不十分収集を回避すること。
• 収集コスト、パフォーマンス目標、時間枠、障害に対するペナルティを考慮した最適制御問題としてデータ収集を形式化すること。
• 複数のデータソース（例：ラベル付き、ラベルなし、合成データなど）における動的データ収集量を、スケーラブルで勾配ベースの方法で決定するためのフレームワークの開発。
• 単一ソースのデータ収集にとどまらず、複数ソース・複数コスト設定、特に半教師あり学習や長尾学習にも一般化すること。
• 提案手法が、パフォーマンス目標を満たせないリスクを低減しながら、総データ収集コストを低く保つことを実証的に示すこと。

提案手法

• 複数ラウンドにわたる意思決定を通じて期待される総コストを最小化する段階的最適制御問題としてデータ収集を定式化する。
• 学習・最適化・収集（LOC）フレームワークを導入し、各ラウンドで最適なデータ量 $ q^*_t $ を勾配降下法で計算する。
• データ収集とパフォーマンススケーリングのベクトル化された定式化を用いて、異なるコストとパフォーマンスインパクトを持つ複数変数のデータソースに一般化する。
• パワーローまたはその他の回帰関数を用いて、データサイズに伴うパフォーマンススケーリングをモデル化し、ブートストラップサンプルを用いて推定の不確実性を扱う。
• 最適化問題を繰り返し解く：各データ収集ラウンド後にパフォーマンスを再推定し、不確実性を更新し、次回のデータ収集ステップを再最適化する。
• 単一ソースおよび複数ソースのデータ収集をサポートし、合成データ、ラベルなしデータ、長尾データを含む、異なるコストとパフォーマンス特性を持つデータにも対応する。

実験結果

リサーチクエスチョン

• RQ1 機械学習におけるデータ収集を、コスト、時間、パフォーマンス目標を考慮した最適意思決定問題としてどのように形式化できるか？
• RQ2 パフォーマンス外挿の不確実性がデータ収集意思決定に与える影響は何か？ また、その影響をどのように軽減できるか？
• RQ3 勾配ベースの最適化フレームワークは、パフォーマンス目標を満たせないリスクを低減しながら、総データ収集コストを最小化できるか？
• RQ4 提案手法は、パワーロー外挿などのベースライン推定手法と比較して、障害率とコスト効率の面でどのように異なるか？
• RQ5 本フレームワークは、コストとパフォーマンス貢献が異なる複数のデータソースに、どの程度一般化できるか？

主な発見

• LOCは、分類、セグメンテーション、検出タスクのあらゆる分野で、ベースライン推定手法に比べて平均してパフォーマンス目標を満たせない障害率を約2倍低減する。
• 3回以上の収集ラウンドを用いる場合、LOCはほとんどのタスクで平均してほぼゼロ障害率（0%まで）を達成し、コスト比も低く保つ。
• T = 5 の場合、LOCはMahmoodら[2]の補正係数ベースラインに比べ、特にセグメンテーションおよび検出タスクでコスト比を1桁以上低減する。
• CIFAR-100分類タスクでは、T = 1 で障害率をベースラインの14%から4%に低下させ、T = 3 および T = 5 では0%にまで低下させ、コスト比の上昇はわずかである。
• LOCは分類以外のタスク（例：BDD100K、nuScenes、VOC）においても、補正係数ベースラインが事前データを必要とするため、より広範な適用性を示す。
• 本手法は、ラベルなしデータ、合成データ、長尾データを含む多様なデータソース設定に対しても、異なるコストとパフォーマンススケーリング特性を有する中で、効果的に一般化できる。