[論文レビュー] apricot: Submodular selection for data summarization in Python

Jacob Schreiber, Jeffrey A. Bilmes+1 more|arXiv (Cornell University)|Jan 1, 2020

Machine Learning and Data Classification被引用数 3

ひとこと要約

apricot は、サブモジュラ最適化を用いて大規模データセットから代表的サブセットを効率的に選択する Python パッケージであり、グリーディアルゴリズムによる理論的保証を提供する。2 種類のサブモジュラ関数（施設配置関数と特徴ベース関数）を実装しており、フルデータセットのわずか一部を用いるだけで高い正確性でスケーラブルなデータ要約を実現できる。

ABSTRACT

We present apricot, an open source Python package for selecting representative subsets from large data sets using submodular optimization. The package implements an efficient greedy selection algorithm that offers strong theoretical guarantees on the quality of the selected set. Two submodular set functions are implemented in apricot: facility location, which is broadly applicable but requires memory quadratic in the number of examples in the data set, and a feature-based function that is less broadly applicable but can scale to millions of examples. Apricot is extremely efficient, using both algorithmic speedups such as the lazy greedy algorithm and code optimizers such as numba. We demonstrate the use of subset selection by training machine learning models to comparable accuracy using either the full data set or a representative subset thereof. This paper presents an explanation of submodular selection, an overview of the features in apricot, and an application to several data sets. The code and tutorial Jupyter notebooks are available at this https URL

研究の動機と目的

• サブモジュラ最適化を用いた代表的データサブセットの選択を目的としたオープンソース Python パッケージの開発。
• 効率的なグリーディアルゴリズムを通じて、サブセットの品質に関する強力な理論的保証の提供。
• ラージデータセットへのスケーラビリティを実現するため、ラージ・グリーディや Numba などの最適化実装を活用。
• 代表的サブセットがフルデータセットと同等の機械学習性能を達成することの実証。
• 研究者および実務家が実世界のシナリオでサブセット選択を適用できる実用的ツールとチュートリアルの提供。

提案手法

• 理論的保証付きのグリーディサブモジュラ最適化アルゴリズムを実装。
• 広範な適用性を備えた施設配置関数を用いるが、データサイズに比例して二次的メモリを要する。
• 大規模データセットへの効率的処理を可能にする特徴ベースサブモジュラ関数を導入。
• 計算コストを低減するため、ラージ・グリーディなどのアルゴリズム的高速化を採用。
• Numba を用いたコードレベルの最適化により実行速度を向上。
• ユーザーフレンドリーな Python API と Jupyter ノートブックチュートリアルを通じて、エンドツーエンドのデータ要約ワークフローをサポート。

実験結果

リサーチクエスチョン

• RQ1 実際の現場において、サブモジュラ最適化を大規模データ要約に効率的に適用できるか。
• RQ2 サブモジュラ関数を用いて選択された代表的サブセットは、フルデータセットと比較して機械学習モデルの訓練において同等の性能を示せるか。
• RQ3 データサブセット選択において、スケーラビリティと代表的性の間にはどのようなトレードオフが存在するか。
• RQ4 どの程度サブモジュラ選択によりデータサイズを削減しつつ、モデルの正確性を維持できるか。
• RQ5 異なるサブモジュラ関数（施設配置関数対特徴ベース関数）は、多様なデータセットにおいてどのように性能を発揮するか。

主な発見

• apricot パッケージは、サブセット品質に関する強力な理論的保証とともに、スケーラブルなデータ要約を可能にする。
• 特徴ベースサブモジュラ関数により、数百万件の例を含むデータセットの効率的処理が可能である。
• apricot を用いたサブセット選択により、フルデータセットで訓練した場合と同等の機械学習モデルの正確性が達成される。
• ラージ・グリーディや Numba などのアルゴリズム最適化により、実行時間の大幅な改善が図れる。
• 施設配置関数は高品質なサブセットを提供するが、二次的メモリ要件のため制限を受ける。
• チュートリアルおよびコードは公開されており、研究者および実務家の実用的導入を支援する。