[論文レビュー] GRAD-MATCH: A Gradient Matching Based Data Subset Selection for Efficient Learning.

Krishnateja Killamsetty, Durga Sivasubramanian+4 more|arXiv (Cornell University)|Feb 27, 2021

Advanced Neural Network Applications参考文献 21被引用数 9

ひとこと要約

GRAD-MATCH は、直交マッチング・プルーリングを用いてフルデータセットの勾配をマッチングすることで、トレーニングサブセットを同定する画期的なデータサブセット選択フレームワークである。実世界のデータセットにおいて、最先端の精度-効率トレードオフを達成しており、理論的収束保証を持つ最近の手法を上回っている。

ABSTRACT

The great success of modern machine learning models on large datasets is contingent on extensive computational resources with high financial and environmental costs. One way to address this is by extracting subsets that generalize on par with the full data. In this work, we propose a general framework, GRAD-MATCH, which finds subsets that closely match the gradient of the training or validation set. We find such subsets effectively using an orthogonal matching pursuit algorithm. We show rigorous theoretical and convergence guarantees of the proposed algorithm and, through our extensive experiments on real-world datasets, show the effectiveness of our proposed framework. We show that GRAD-MATCH significantly and consistently outperforms several recent data-selection algorithms and is Pareto-optimal with respect to the accuracy-efficiency trade-off. The code of GRADMATCH is available as a part of the CORDS toolkit: https://github.com/decile-team/cords.

研究の動機と目的

• フルデータセット上で大規模な機械学習モデルをトレーニングする際の高い計算コストと環境負荷を低減すること。
• フルデータセットと同等のモデル一般化性能を維持するデータサブセット選択手法を開発すること。
• 勾配マッチングに基づいて理論的根拠があり、効率的なサブセット選択アルゴリズムを定式化すること。
• 既存のデータ選択手法と比較して、精度-効率トレードオフにおいてパレート最適性を達成すること。

提案手法

• データサブセット選択を、フルトレーニングまたはバリデーションセットの勾配をマッチングする問題として定式化すること。
• 勾配不一致を最小化するように、直交マッチング・プルーリング（OMP）を用いて反復的にデータポイントを選択すること。
• フルデータセットの勾配とサブセットの勾配の差を測定する勾配ベースの目的関数を定義すること。
• OMPにおけるグリーディー選択戦略を適用し、勾配不一致を効率的に最小化するサブセットを構築すること。
• OMPアルゴリズムの構造と勾配マッチングを通じて、理論的収束性および一般化保証を確保すること。
• 研究者や実務家による再現性とスケーラブルなデプロイメントを可能にするために、CORDSツールキットにフレームワークを統合すること。

実験結果

リサーチクエスチョン

• RQ1 勾配マッチングは、フルデータセットと同等に一般化するデータサブセットを効果的に同定できるか？
• RQ2 GRAD-MATCH は、精度とトレーニング効率の観点で、既存のデータサブセット選択手法と比較してどのように異なるか？
• RQ3 GRAD-MATCH は、多様な実世界のデータセットにおいて、精度-効率トレードオフでパレート最適性を達成するか？
• RQ4 提案されたサブセット選択アルゴリズムの収束性および一般化性能について、どのような理論的保証を提供できるか？

主な発見

• GRAD-MATCH は、複数の実世界のデータセットにおいて、トレーニングデータサイズを顕著に削減しながらも、最先端の精度性能を達成している。
• ベンチマークデータセットにおいて、最近のデータ選択アルゴリズムと比較して、精度と効率の両面で一貫して優れている。
• GRAD-MATCH はパレート最適性を示しており、他のいかなる手法よりも少ないデータ量でより高い精度を達成する、もしくはより少ない計算量でより高い精度を達成するものは存在しない。
• 理論的分析により、提案された勾配マッチングフレームワークの収束性と一般化保証が確認された。
• 実験的結果から、選択されたサブセットは、低データ分率でも強力な一般化性能を維持していることが示された。
• フレームワークは CORDS ツールキットに統合されており、研究者や実務家による再現可能でスケーラブルなデプロイメントを可能にしている。