[논문 리뷰] Fast, Accurate, and Simple Models for Tabular Data via Augmented Distillation

Rasool Fakoor, Jonas Mueller외 3명|arXiv (Cornell University)|2020. 06. 25.

Machine Learning and Data Classification참고 문헌 57인용 수 14

한 줄 요약

이 논문은 표본 데이터에서 학생 모델 성능을 햖थ시키기 위해 자기주의 기반의 가짜우도 추정기에서 기반한 기브스 샘플링을 통해 훈련 데이터를 증강하는 모델에 종속되지 않는 정수 프레임워크인 FAST-DAD를 제안한다. 이 방법은 30개의 회귀 및 분류 작업에 걸쳐 상태의 성능을 달성하며, AutoML 앙상블보다 10배 이상 빠르고 정확도가 높은 개별 모델을 생성한다.

ABSTRACT

Automated machine learning (AutoML) can produce complex model ensembles by stacking, bagging, and boosting many individual models like trees, deep networks, and nearest neighbor estimators. While highly accurate, the resulting predictors are large, slow, and opaque as compared to their constituents. To improve the deployment of AutoML on tabular data, we propose FAST-DAD to distill arbitrarily complex ensemble predictors into individual models like boosted trees, random forests, and deep networks. At the heart of our approach is a data augmentation strategy based on Gibbs sampling from a self-attention pseudolikelihood estimator. Across 30 datasets spanning regression and binary/multiclass classification tasks, FAST-DAD distillation produces significantly better individual models than one obtains through standard training on the original data. Our individual distilled models are over 10x faster and more accurate than ensemble predictors produced by AutoML tools like H2O/AutoSklearn.

연구 동기 및 목표

• 표본 데이터 환경에서 AutoML가 생성한 앙상블 모델의 비효율성과 투명성 부족 문제를 해결하기 위해.
• 무료 데이터 증강을 통해 효과적인 훈련 데이터 크기를 늘림으로써 일반적으로 관찰되는 지식 정수의 정확도 저하를 줄이기 위해.
• 다양한 학생 모델(예: 부스팅 트리, 랜덤 포레스트, 딥 네트워크)과 예측 작업(회귀, 이진/다중 분류)에 적용 가능한 모델에 종속되지 않는 정수 방법을 개발하기 위해.
• 표본 데이터에서 일반적으로 데이터 증강이 미처 다루어지지 않은 저자료 환경에서 효율적이고 고정확도의 정수를 가능하게 하기 위해.
• 표본 데이터에서 정수를 평가하기 위한 종합적인 벤치마크를 수립하기 위해.

제안 방법

• 자기주의 기반의 가짜우도 모델을 사용하여 특성의 조건부 분포를 추정함으로써, 전체 밀도 추정 없이도 공동 분포를 근사화한다.
• 기브스 샘플링을 적용하여 가짜우도 모델에서 다양하고 고품질의 무료 데이터를 생성하며, 각 기브스 단계는 다른 특성에 조건부로 하나의 특성을 재샘플링한다.
• 원본 레이블이 부여된 데이터와 기브스 샘플링을 통해 생성된 무료 데이터를 조합하여 구성된 증강된 데이터셋을 사용해 학생 모델을 훈련함으로써 일반화 성능을 향상시키고 분산을 줄인다.
• 각 데이터 포인트에 대한 기브스 샘플링 단계 수는 샘플 품질과 계산 비용의 균형을 맞추기 위해 최적화되며, 경험적 결과는 1~5라운드가 가장 유리하다고 나타낸다.
• 이 방법은 모델에 종속되지 않아, 예를 들어 AutoGluon과 같은 어떤 교사 앙상블 모델에서나 XGBoost, ResNet과 같은 어떤 학생 모델로도 정수를 수행할 수 있다.
• 이론적 분석을 통해 진짜 데이터 분포와 기브스 샘플링된 분포 사이의 총 변동 거리의 관점에서 학생 모델의 일반화 오차를 경계한다.

실험 결과

연구 질문

• RQ1 가짜우도 모델에서 기브스 샘플링을 통한 데이터 증강이 표본 데이터에서 정수된 개별 모델의 정확도를 크게 향상시킬 수 있는가?
• RQ2 자기 샘플링된 무료 예제로 정수 데이터를 증강함으로써, 정수된 모델과 복잡한 AutoML 앙상블 간의 정확도 격차를 줄일 수 있는가?
• RQ3 기브스 샘플링 단계 수가 정수된 모델의 성능과 효율성에 어떤 영향을 미치는가?
• RQ4 모델에 종속되지 않는 정수 프레임워크가 표본 학습에서 작업에 특화된 정수 기법을 능가할 수 있는가?
• RQ5 증강된 데이터에서 샘플 품질과 다양성 사이에 조절 가능한 트레이드오프가 존재하는가, 이를 통해 학생 모델 성능을 최적화할 수 있는가?

주요 결과

• FAST-DAD는 30개의 표본 데이터셋에서 H2O-AutoML와 AutoSklearn의 앙상블 예측기보다 10배 이상 빠르고 정확도가 높은 개별 학생 모델을 생성한다.
• AutoGluon의 전체 앙성보다 10,000배 빠른 속도를 기록하면서도 테스트 정확도를 유지하거나 초월한다.
• 기브스 샘플링을 1~5라운드만 수행해도 장기간의 체인보다 더 나은 성능을 내며, 샘플 품질과 계산 비용 사이의 최적 균형을 이룬다.
• 증강된 정수 접근법은 추가적인 레이블이 없는 조건에서 효과적인 훈련 데이터 크기를 늘림으로써 학생 모델의 일반화 오차를 줄인다.
• 자기주의 기반 가짜우도 모델은 조건부 분포를 정확하게 추정할 수 있어, 저자료 표본 환경에서 효과적인 데이터 증강의 기반을 마련한다.
• 종합적인 벤치마크는 FAST-DAD가 모든 30개 데이터셋과 4종류의 학생 모델 유형에서 표준 정수 및 기타 증강 전략을 모두 능가함을 보여준다.