[論文レビュー] Data Engineering for Everyone

Vijay Janapa Reddi, Greg Diamos+3 more|arXiv (Cornell University)|Feb 23, 2021

Scientific Computing and Data Management参考文献 1被引用数 5

ひとこと要約

この論文は、オープンソースソフトウェア運動に類似したデータエンジニアリングの革命を提唱し、自動化され、コミュニティ主導のフレームワークを活用して、スケールに応じたオープンデータセットの作成を加速することを提案する。2,000篇以上のAI研究論文の分析を通じて、78.3%がオープンデータセットに依存していることが示され、People’s Speech や 1000 Words in 1000 Languages といった事例研究により、合成および自動化されたデータ生成が、高品質で低コストのデータセットを生み出す可能性を示している。これにより、民主的で再現可能かつスケーラブルな機械学習イノベーションが実現可能となる。

ABSTRACT

Data engineering is one of the fastest-growing fields within machine learning (ML). As ML becomes more common, the appetite for data grows more ravenous. But ML requires more data than individual teams of data engineers can readily produce, which presents a severe challenge to ML deployment at scale. Much like the software-engineering revolution, where mass adoption of open-source software replaced the closed, in-house development model for infrastructure code, there is a growing need to enable rapid development and open contribution to massive machine learning data sets. This article shows that open-source data sets are the rocket fuel for research and innovation at even some of the largest AI organizations. Our analysis of nearly 2000 research publications from Facebook, Google and Microsoft over the past five years shows the widespread use and adoption of open data sets. Open data sets that are easily accessible to the public are vital to accelerating ML innovation for everyone. But such open resources are scarce in the wild. So, what if we are able to accelerate data-set creation via automatic data set generation tools?

研究の動機と目的

• 機械学習分野における急速なデータ不足の問題に対処し、迅速でスケーラブルかつオープンなデータセット作成を可能にする。
• オープンソースソフトウェア開発に類似したツールとフレームワークを開発することで、専用のプロプライエタリなデータパイプラインへの依存を減らし、データエンジニアリングを民主化する。
• 研究者、学生、開発者に広く利用可能で、高品質かつ再現可能なデータセットを提供することで、機械学習イノベーションを加速する。
• 品質、ライセンス、倫理的配慮の観点から、オープンデータセットを評価するための基準とメトリクスを確立し、信頼性と利用可能性を確保する。
• MLCommons や People’s Speech、Speech Commands といったオープンイニシャチブを通じて、コミュニティ主導のデータエンジニアリングを促進し、効率的なデータ生産を実現する。

提案手法

• 2015年から2021年までの間、Facebook、Google、Microsoftが発表した1,980篇の研究論文を分析し、主要なML国際会議におけるオープンデータセット使用の実態を定量化する。
• 大規模言語モデルと音声合成を活用した自動データ生成パイプラインを開発し、合成されたラベル付きテキストおよび音声データを生成する。
• 既存のオープンデータセット（例：Common Voice）とフォースドアライメントツールを活用し、キーワード検出用モデル向けに自動的に抽出・ラベル付けされた発話キーワードを取得する。
• 自動音声認識やフォースドアライメント技術を適用して音声を単語レベルのクリップに分割し、手動ラベリングの代替とする。
• 再現可能性、バージョニング、ライセンス確認をサポートするデータエンジニアリングフレームワークを実装し、データセットの品質とコンプライアンスを確保する。
• MLCommons などのオープンプラットフォームを通じて、コミュニティの貢献を促進し、データセットの共同開発と検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 主要なAI組織は、その研究発表において、オープンデータセットとプロプライエタリデータセットのどちらにどれほど依存しているのか。
• RQ2 自動化され、コミュニティ主導のデータエンジニアリングパイプラインは、大規模かつ高品質なMLデータセットを構築する際のコストと時間を著しく削減できるのか。
• RQ3 オープンソースソフトウェア開発で見られるような効率性を実現するための、技術的および組織的なフレームワークは、どのように整備される必要があるのか。
• RQ4 自動生成されたデータセットにおいて、ライセンス、品質、倫理的配慮を体系的に評価・適用する方法は何か。
• RQ5 学術機関とオープンソースコミュニティは、機械学習分野におけるデータエンジニアリングを、根幹的な学問分野として発展させるために、どのような役割を果たせるのか。

主な発見

• 2015年から2021年までの間、Facebook、Google、Microsoftが発表した1,980篇の業界研究論文のうち78.3%がオープンデータセットを使用しており、再現可能な研究に公共データが広く依存していることが示された。
• オープンデータセットの使用は時間経過とともに増加しており、ベンチマークやイノベーションに公共データを信頼して使う傾向が高まっていることを示している。
• People’s Speech や 1000 Words in 1000 Languages プロジェクトで使用された自動データ生成パイプラインにより、2万ドル未満の費用で87,000時間のラベル付き音声データが生成された。これは、スケールでのコスト効率の高さを実証している。
• フォースドアライメントと事前学習モデルを活用することで、単語レベルの音声クリップを自動抽出可能となり、手動ラベリング作業が桁違いに削減された。
• ライセンスと倫理的懸念は依然として重要な課題であり、CC-0ライセンスであっても、大規模監視のような敏感な用途で誤用される可能性がある。
• MLCommons が主導するコミュニティ主導のデータエンジニアリングイニシャチブは、持続可能でスケーラブルかつ透明性のあるデータセット開発の実現可能なモデルとして登場している。