[論文レビュー] Fast, Accurate, and Simple Models for Tabular Data via Augmented Distillation

Rasool Fakoor, Jonas Mueller+3 more|arXiv (Cornell University)|Jun 25, 2020

Machine Learning and Data Classification参考文献 57被引用数 14

ひとこと要約

本稿では、自己注意機構に基づく疑似尤度推定器を用いてガウスサンプリングにより訓練データを拡張することで、表形式データにおける学生モデルの性能を向上させる、モデルに依存しない蒸留フレームワークであるFAST-DADを提案する。この手法により、30のデータセットにおける回帰および分類タスクで最先端の性能を達成し、AutoMLアンサンブルよりも10倍以上高速かつ高精度な個々のモデルが得られる。

ABSTRACT

Automated machine learning (AutoML) can produce complex model ensembles by stacking, bagging, and boosting many individual models like trees, deep networks, and nearest neighbor estimators. While highly accurate, the resulting predictors are large, slow, and opaque as compared to their constituents. To improve the deployment of AutoML on tabular data, we propose FAST-DAD to distill arbitrarily complex ensemble predictors into individual models like boosted trees, random forests, and deep networks. At the heart of our approach is a data augmentation strategy based on Gibbs sampling from a self-attention pseudolikelihood estimator. Across 30 datasets spanning regression and binary/multiclass classification tasks, FAST-DAD distillation produces significantly better individual models than one obtains through standard training on the original data. Our individual distilled models are over 10x faster and more accurate than ensemble predictors produced by AutoML tools like H2O/AutoSklearn.

研究の動機と目的

• 表形式データの文脈において、AutoMLが生成するアンサンブルモデルの非効率性と不透明性を解消すること。
• 教師モデルの知識蒸留において一般的に見られる精度低下を、未ラベルデータの拡張によって有効な訓練データ量を増やすことで軽減すること。
• 勾配ブースティング木、ランダムフォレスト、深層ネットワークなどの多様な学生モデルや、回帰、二値分類・多値分類などの予測タスクに適用可能な、モデルに依存しない蒸留手法を開発すること。
• 表形式データに一般的に見られる低データ量の環境において、効率的かつ高精度な蒸留を可能にすること。
• 表形式データにおける蒸留の包括的ベンチマークを確立し、複数の戦略と学生アーキテクチャを評価すること。

提案手法

• 自己注意機構に基づく疑似尤度モデルを用いて特徴量の条件付き分布を推定し、完全な密度推定を伴わずに同時分布を近似可能にする。
• ガウスサンプリングを適用して、疑似尤度モデルから多様で高品質な未ラベルデータを生成する。各ガウスステップでは、他の特徴量を条件として1つの特徴量を再サンプリングする。
• 元のラベル付きデータとガウスサンプリングで得た未ラベルデータを組み合わせた拡張データセットを用いて学生モデルを訓練することで、一般化性能の向上と分散の低減を実現する。
• 1データポイントあたりのガウスサンプリングステップ数を、サンプル品質と計算コストのバランスを最適化するように調整し、実験結果では1〜5ラウンドが最適であると判明した。
• アーキテクチャに依存しないアプローチであり、任意の教師アンサンブル（例：AutoGluon）から任意の学生モデル（例：XGBoost、ResNet）への蒸留が可能である。
• 理論的分析により、学生モデルの一般化誤差が真のデータ分布とガウスサンプリングされた分布との全 Variation 距離の関数として境界づけられている。

実験結果

リサーチクエスチョン

• RQ1 疑似尤度モデルからのガウスサンプリングによるデータ拡張が、表形式データにおける蒸留済み個々のモデルの精度を顕著に向上させることができるか？
• RQ2 自己サンプリングされた未ラベル例を用いて蒸留データを拡張することで、蒸留モデルと複雑なAutoMLアンサンブルとの間の精度格差を縮小できるか？
• RQ3 ガウスサンプリングステップ数が、蒸留済みモデルの性能と効率にどのように影響を与えるか？
• RQ4 モデルに依存しない蒸留フレームワークが、タスク固有の蒸留技術を上回る性能を発揮できるか？
• RQ5 拡張データにおけるサンプル品質と多様性のトレードオフは、学生モデルの性能最適化のために制御可能か？

主な発見

• FAST-DADは、30の表形式データセットにおいて、H2O-AutoML や AutoSklearn が生成するアンサンブル予測器よりも10倍以上高速かつ高精度な個々の学生モデルを生成する。
• AutoGluonの完全なアンサンブルよりも10,000倍の高速化を達成しながら、テスト精度を維持または上回る。
• ガウスサンプリングを1〜5ラウンド程度に制限することで、より良い性能が得られ、サンプル品質と計算コストの最適なトレードオフが実現されている。
• 拡張された蒸留アプローチにより、追加のラベル付き例が不要な状況でも、有効な訓練データ量を増加させることで学生モデルの一般化誤差を低減できる。
• 自己注意機構に基づく疑似尤度モデルは、条件付き分布の正確な推定を可能にし、低データ量の表形式データ環境における有効なデータ拡張の基盤を提供する。
• 包括的なベンチマークにより、FAST-DADがすべての30のデータセットおよび4種類の学生モデルタイプにおいて、標準的な蒸留手法や他の拡張戦略を上回ることが実証された。