[논문 리뷰] apricot: Submodular selection for data summarization in Python

Jacob Schreiber, Jeffrey A. Bilmes외 1명|arXiv (Cornell University)|2020. 01. 01.

Machine Learning and Data Classification인용 수 3

한 줄 요약

apricot는 대규모 데이터셋에서 대표적인 부분집합을 효율적으로 선택하기 위해 서브모듈러 최적화를 사용하는 파이썬 패키지로, 탐욕 알고리즘을 통해 이론적 보장을 제공한다. 두 가지 서브모듈러 함수인 시설 위치 함수와 특징 기반 함수를 구현하여 전체 데이터셋의 일부만을 사용함으로써 높은 정확도를 달성하는 확장 가능한 데이터 요약을 가능하게 한다.

ABSTRACT

We present apricot, an open source Python package for selecting representative subsets from large data sets using submodular optimization. The package implements an efficient greedy selection algorithm that offers strong theoretical guarantees on the quality of the selected set. Two submodular set functions are implemented in apricot: facility location, which is broadly applicable but requires memory quadratic in the number of examples in the data set, and a feature-based function that is less broadly applicable but can scale to millions of examples. Apricot is extremely efficient, using both algorithmic speedups such as the lazy greedy algorithm and code optimizers such as numba. We demonstrate the use of subset selection by training machine learning models to comparable accuracy using either the full data set or a representative subset thereof. This paper presents an explanation of submodular selection, an overview of the features in apricot, and an application to several data sets. The code and tutorial Jupyter notebooks are available at this https URL

연구 동기 및 목표

• 서브모듈러 최적화를 사용하여 대표적인 데이터 부분집합을 선택하는 오픈소스 파이썬 패키지 개발.
• 효율적인 탐욕 알고리즘을 통해 부분집합 품질에 대한 강력한 이론적 보장을 제공.
• lazy greedy 및 Numba와 같은 최적화된 구현을 통해 수백만 개의 예제에까지 확장 가능한 성능 제공.
• 대표적인 부분집합이 전체 데이터셋을 사용할 때와 유사한 기계학습 성능을 달성함을 보여줌.
• 연구자와 실무자가 실제 시나리오에 부분집합 선택을 적용할 수 있도록 실용적인 도구와 튜토리얼 제공.

제안 방법

• 부분집합 품질에 대한 이론적 보장을 갖춘 탐욕 알고리즘 기반의 서브모듈러 최적화 알고리즘 구현.
• 광범위한 적용성을 위해 시설 위치 함수 사용, 다만 데이터 크기의 제곱에 비례하는 메모리 요구.
• 대규모 데이터셋에 대해 효율적으로 스케일링 가능한 특징 기반 서브모듈러 함수 도입.
• 계산 비용을 줄이기 위해 lazy greedy 알고리즘과 같은 알고리즘 최적화 활용.
• Numba를 통한 코드 수준 최적화로 실행 속도 향상.
• 사용자 友好的한 파이썬 API와 Jupyter 노트북 튜토리얼을 통한 엔드 투 엔드 데이터 요약 워크플로우 지원.

실험 결과

연구 질문

• RQ1 실제로 대규모 데이터 요약에 서브모듈러 최적화를 효율적으로 적용할 수 있는가?
• RQ2 서브모듈러 함수를 통해 선택된 대표 부분집합은 전체 데이터셋을 사용할 때와 기계학습 모델 성능에서 어떻게 비교되는가?
• RQ3 데이터 부분집합 선택에서 확장성과 대표성 사이의 상호 상충 관계는 어떠한가?
• RQ4 서브모듈러 선택을 통해 얼마나 많은 데이터 크기를 줄일 수 있으며, 동시에 모델 정확도를 유지할 수 있는가?
• RQ5 다양한 데이터셋에서 시설 위치 함수와 특징 기반 함수 간의 성능 차이는 어떠한가?

주요 결과

• apricot 패키지는 부분집합 품질에 대한 강력한 이론적 보장을 갖춘 확장 가능한 데이터 요약을 가능하게 한다.
• 특징 기반 서브모듈러 함수는 수백만 개의 예제를 포함한 데이터셋을 효율적으로 처리할 수 있다.
• apricot를 사용한 부분집합 선택은 전체 데이터셋을 사용할 때와 동일한 기계학습 모델 정확도를 달성한다.
• lazy greedy 및 Numba와 같은 알고리즘 최적화가 런타임 성능을 크게 향상시킨다.
• 시설 위치 함수는 높은 품질의 부분집합을 제공하지만, 제곱 메모리 요구로 인해 제한된다.
• 튜토리얼과 코드는 공개되어 있어 연구자와 실무자의 실용적 적용을 지원한다.