[論文レビュー] Recommending Learning Algorithms and Their Associated Hyperparameters

Michael R. Smith, Logan Mitchell+2 more|arXiv (Cornell University)|Jul 7, 2014

Machine Learning and Data Classification参考文献 17被引用数 8

ひとこと要約

本稿では、手動で選択されたメタ特徴量に依存せずに、過去の実験成績を活用することで最適な機械学習アルゴリズムとハイパーパrameterを推薦する、新しいメタラーニング手法であるMeta-Collaborative Filtering (MCF) を提案する。MCFは従来のメタラーニングを上回り、Auto-WEKAと同等の精度を達成するが、より効率的で特徴工学の必要がない。

ABSTRACT

The success of machine learning on a given task dependson, among other things, which learning algorithm is selected and its associated hyperparameters. Selecting an appropriate learning algorithm and setting its hyperparameters for a given data set can be a challenging task, especially for users who are not experts in machine learning. Previous work has examined using meta-features to predict which learning algorithm and hyperparameters should be used. However, choosing a set of meta-features that are predictive of algorithm performance is difficult. Here, we propose to apply collaborative filtering techniques to learning algorithm and hyperparameter selection, and find that doing so avoids determining which meta-features to use and outperforms traditional meta-learning approaches in many cases.

研究の動機と目的

• 特定のデータセットに対して最適な学習アルゴリズムとハイパーパrameterを選択する課題、特に専門家でないユーザーにとっての課題に対処すること。
• 従来のメタラーニング手法における予測可能なメタ特徴量の選択の難しさを克服すること。
• 過去の実験結果を活用して、明示的な特徴工学を必要とせずにアルゴリズムとハイパーパrameterを推薦する手法を開発すること。
• 過去の実験成績に基づく協調フィルタリングが、コンテンツベースのメタラーニングを上回るか、アルゴリズムおよびハイパーパラメータ推薦において有効であるかを評価すること。

提案手法

• 過去の実験成績（アルゴリズム-ハイパーパラメータの組み合わせ）に、協調フィルタリング（CF）技術（ベースライン、ファジーキーメンズ、行列分解（MF）、NLPCA、非教師付きバックプロパゲーション）を適用する。
• 各データセットを「ユーザー」とし、各アルゴリズム-ハイパーパラメータ設定を「アイテム」とし、成績の正確さを「スコア」とする。
• スパarsityに基づく評価を実施：過去の結果の10％から90％をランダムに削除し、CF手法を用いて欠落した正確さを予測する。
• 予測された成績に基づいて上位4つのアルゴリズム-ハイパーパラメータ設定を推薦し、予測精度が最も高いものを選択する。
• 再訓練に10秒未塔で完了させ、新しいデータセットへの迅速な適応を可能にする。
• MCFの性能を、デフォルトのハイパーパラメータ設定、ランダムなハイパーパラメータ最適化、メタ特徴量を用いたメタラーニングと比較する。

実験結果

リサーチクエスチョン

• RQ1 過去の実験成績に基づく協調フィルタリングは、メタ特徴量に依存せずに、最適な学習アルゴリズムとハイパーパラメータを効果的に推薦できるか？
• RQ2 MCFは、手作業で作成されたメタ特徴量を用いる従来のメタラーニング手法と比較して、正確さで優れているか？
• RQ3 MCFの性能は、歴史的データ量の増加（＝スパarsityの低下）に伴って向上するか？
• RQ4 MCFは、Auto-WEKAなどの最先端の自動機械学習ツールと比較して、推薦の正確さで優れているか？
• RQ5 再訓練のオーバーヘッドが低く、推論が速いため、実用的な展開が可能か？

主な発見

• 行列分解（MF）は、すべてのCF技術の中で最高の平均正確さを達成し、70％のデータ使用率で82.44％、90％のデータ使用率で82.65％の正確さを記録した。
• MCFは、デフォルトのハイパーパラメータ設定（81.93％の正確さ）および各アルゴリズムごとのランダムなハイパーパラメータ最適化を著しく上回った。
• MCFは、すべてのスパarsityレベルで平均82.12％（最良ケース）および81.95％（平均）の正確さを達成し、メタラーニングベースラインの78.91％を上回った。
• MCFの性能は、データの可用性が増えるにつれて向上し、MFでは10％のデータ使用率で80.49％、90％のデータ使用率で82.65％の正確さに上昇した。
• MCFは、平均16の設定を評価するAuto-WEKAと同等の正確さ（82.00％）を達成したが、はるかに少ない計算負荷で実現した。
• この手法は、協調フィルタの再訓練に10秒未塔で完了するため、過去の実験データベースを備えた実世界の展開に実用的である。