[논문 리뷰] Optimizing Data Collection for Machine Learning

Rafid Mahmood, James M. Lucas외 3명|arXiv (Cornell University)|2022. 10. 03.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 성능 목표를 충족하면서 예상 향후 비용을 최소화하는 방식으로 데이터 수집을 순차적 결정 문제로 공식화하는 최적의 데이터 수집 프레임워크를 제안한다. 성능 목표를 충족시키기 위해 데이터 수집량을 동적으로 결정하는 기울기 하강법을 적용하는 Learn-Optimize-Collect (LOC) 프레임워크를 사용함으로써, 기준 추정 방법 대비 실패율을 최대 2배까지 감소시키며, 훨씬 낮은 데이터 수집 비용으로 근사적으로 0%의 실패율을 달성한다.

ABSTRACT

Modern deep learning systems require huge data sets to achieve impressive performance, but there is little guidance on how much or what kind of data to collect. Over-collecting data incurs unnecessary present costs, while under-collecting may incur future costs and delay workflows. We propose a new paradigm for modeling the data collection workflow as a formal optimal data collection problem that allows designers to specify performance targets, collection costs, a time horizon, and penalties for failing to meet the targets. Additionally, this formulation generalizes to tasks requiring multiple data sources, such as labeled and unlabeled data used in semi-supervised learning. To solve our problem, we develop Learn-Optimize-Collect (LOC), which minimizes expected future collection costs. Finally, we numerically compare our framework to the conventional baseline of estimating data requirements by extrapolating from neural scaling laws. We significantly reduce the risks of failing to meet desired performance targets on several classification, segmentation, and detection tasks, while maintaining low total collection costs.

연구 동기 및 목표

• 머신러닝 모델을 위한 데이터 수집량과 유형을 결정하는 데 있어 체계적인 지침의 부족 문제를 해결하기 위해, 과다 또는 과소 수집을 방지한다.
• 수집 비용, 성능 목표, 시간 범위, 실패에 대한 보상금을 고려한 최적 제어 문제로 데이터 수집을 공식화한다.
• 다양한 데이터 소스(예: 레이블러드, 레이블 없음, 합성 데이터)에 대해 동적으로 수집량을 결정하는 확장 가능한 기울기 기반 방법을 개발한다.
• 단일 소스 데이터 수집을 넘어 다중 소스, 다중 비용 설정으로 일반화하여, 준지도 학습 및 장꼬리 학습과 같은 환경을 포함한다.
• 실험적으로 제안된 방법이 성능 목표를 충족하지 못할 위험을 줄이면서도 총 데이터 수집 비용을 낮게 유지함을 입증한다.

제안 방법

• 다중 라운드에 걸쳐 예상 총 비용을 최소화하기 위해 결정을 내리는 순차적 최적 제어 문제로 데이터 수집을 공식화한다.
• 각 라운드에서 수집할 최적의 데이터 양 $ q^*_t $ 를 계산하기 위해 기울기 하강법을 사용하는 Learn-Optimize-Collect (LOC) 프레임워크를 도입한다.
• 다양한 비용과 성능 영향을 가지는 다변량 데이터 소스를 고려하기 위해 데이터 수집 및 성능 스케일링의 벡터화된 공식을 사용하여 프레임워크를 일반화한다.
• 성능 스케일링을 데이터 크기와 관련지어 거듭제곱 법칙 또는 기타 회귀 함수로 모델링하고, 추정치의 불확실성을 반영하기 위해 부트스트랩 샘플을 사용한다.
• 최적화 문제를 반복적으로 해결한다: 각 데이터 수집 라운드 이후 성능를 재추정하고, 불확실성을 갱신한 후 다음 데이터 수집 단계를 재최적화한다.
• 단일 소스 및 다중 소스 데이터 수집을 모두 지원하며, 합성, 레이블 없음, 장꼬리 데이터를 포함하여 각각 다른 비용과 성능 특성을 지닌다.

실험 결과

연구 질문

• RQ1 머신러닝에서의 데이터 수집을 비용, 시간, 성능 목표를 고려한 최적의 의사결정 문제로 어떻게 공식화할 수 있는가?
• RQ2 성능 외삽의 불확실성이 데이터 수집 결정에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ3 기울기 기반 최적화 프레임워크는 총 데이터 수집 비용을 최소화하면서 성능 목표를 충족하지 못할 위험을 줄일 수 있는가?
• RQ4 기본 추정 기법(예: 거듭제곱 법칙 외삽)과 비교했을 때, 제안된 방법은 실패율과 비용 효율성 측면에서 어떻게 다를까?
• RQ5 비용과 성능 기여도가 다른 여러 데이터 소스에 대해 이 프레임워크는 얼마나 잘 일반화될 수 있는가?

주요 결과

• LOC는 분류, 세그멘테이션, 검출 작업 전반에서 기준 추정 방법 대비 평균 실패율을 약 2배 감소시킨다.
• 대부분의 작업에서 3개 이상의 수집 라운드를 사용할 경우, LOC는 평균적으로 근사적으로 0%의 실패율(최소 0%)을 달성하며, 낮은 비용 비율을 유지한다.
• T = 5일 때, LOC는 Mahmood 등 [2]의 보정 요인 기반 기준 대비 비용 비율을 최대 한 계단 어휘로 감소시킨다. 특히 세그멘테이션 및 검출 작업에서 두드러진다.
• CIFAR-100 분류 작업에서 LOC는 T = 1일 때 실패율을 기준의 14%에서 4%로 감소시키며, T = 3 및 T = 5일 때는 0%로 낮춘다. 이는 비용 비율의 약간의 증가 외에는 거의 영향을 주지 않는다.
• LOC는 분류가 아닌 작업(예: BDD100K, nuScenes, VOC)에서도 보정 요인 기반 기준을 능가하며, 이는 기준이 사전 데이터가 필요하기 때문에 더 넓은 적용 가능성을 보여준다.
• 이 방법은 레이블 없음, 합성, 장꼬리 데이터를 포함한 다중 소스 환경에 효과적으로 일반화되며, 각각 다른 비용과 성능 스케일링 행동을 지닌다.