[論文レビュー] AutoML using Metadata Language Embeddings

Iddo Drori, Lu Liu+6 more|arXiv (Cornell University)|Oct 8, 2019

Topic Modeling参考文献 15被引用数 17

ひとこと要約

本論文は、データセットメタデータおよび機械学習パイプラインドキュメントのNLP埋め込みを活用することで、自動機械学習（AutoML）を強化するメタAutoMLフレームワークを提案する。データセットおよびアルゴリズムの記述を埋め込み表現として扱い、最適なパイプライン同士の類似度を予測するニューラルネットワークを学習することで、最先端のツールと同等のゼロショットAutoML性能を達成する。1秒未満でほぼ最適な結果を出力し、OBOE、AutoSklearn、AlphaD3M、TPOTを1分の計算制限内で上回る性能を発揮する。

ABSTRACT

As a human choosing a supervised learning algorithm, it is natural to begin by reading a text description of the dataset and documentation for the algorithms you might use. We demonstrate that the same idea improves the performance of automated machine learning methods. We use language embeddings from modern NLP to improve state-of-the-art AutoML systems by augmenting their recommendations with vector embeddings of datasets and of algorithms. We use these embeddings in a neural architecture to learn the distance between best-performing pipelines. The resulting (meta-)AutoML framework improves on the performance of existing AutoML frameworks. Our zero-shot AutoML system using dataset metadata embeddings provides good solutions instantaneously, running in under one second of computation. Performance is competitive with AutoML systems OBOE, AutoSklearn, AlphaD3M, and TPOT when each framework is allocated a minute of computation. We make our data, models, and code publicly available.

研究の動機と目的

• 人間が読みやすいデータセットの説明文とアルゴリズムドキュメントを自動パイプライン選択に組み込むことで、AutoMLの性能を向上させること。
• データセットおよびアルゴリズムの意味的埋め込み表現を用いて、即座に高性能なパイプラインを推薦するゼロショットAutoMLシステムを構築すること。
• Kaggleコンペティションの構造的メタデータ、タスク、実行可能なパイプラインを含む新しいベンチマークデータセット、AutoKaggleを構築すること。
• 類似するデータセットおよび最適なパイプラインが近接するように埋め込み空間を学習し、データセット間での転移学習を可能にすること。
• 非構造的テキスト（例：データセットのタイトル、説明、アルゴリズムドキュメント）のNLPベースの埋め込みが、AutoML推薦の正確性を顕著に向上させられることを示すこと。

提案手法

• 事前学習済み言語モデルを用いて、自由形式のデータセットメタデータ（タイトル、説明、キーワード）およびアルゴリズムドキュメントから密度型ベクトル埋め込みを生成する。
• 最適なパイプラインが類似するデータセット同士の埋め込み間の距離を最小化することで、データセット埋め込みの距離を学習するニューラルネットワークを構築する。
• ゼロショット推論戦略を採用：新しいデータセットに対しては、そのメタデータの埋め込みを計算し、訓練データで類似度が最も高いデータセットの最良パイプラインを取得する。
• 各パイプラインをその構成要素およびドキュメントから導出されるベクトルとして表現するパイプライン埋め込み空間を導入する。
• データセット埋め込み同士の距離と、それらに対応する最適パイプラインの埋め込み同士の距離を一致させるためのメトリック学習目的関数を定義する。
• 本フレームワークは、Kaggleコンペティションのメタデータ、タスク、実行可能なパイプラインをScikit-learn互換形式に変換した、収集されたデータセット、AutoKaggleを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 従来のメタ特徴量と比較して、データセットメタデータのNLP埋め込みはゼロショットAutoML性能を向上させることができるか？
• RQ2 機械学習パイプラインドキュメントの埋め込みは、多様なデータセットにわたるAutoMLシステムの一般化性能を向上させることができるか？
• RQ3 データセット埋め込みとパイプライン埋め込みの間で共同メトリック空間を学習することで、AutoMLにおける転移性能が向上するか？
• RQ4 時間制限がある条件下で、メタデータ埋め込みを用いたゼロショットAutoMLシステムの性能は、最先端のAutoMLフレームワークと比較してどうなるか？
• RQ5 Kaggleで人間が開発した優勝パイプラインは、学習済み埋め込みから導かれる推薦結果とどの程度一致するか？

主な発見

• データセットメタデータ埋め込みのみを用いたゼロショットAutoMLシステム（Ours DE）は、9つの表形式分類データセットで平均正解率0.87を達成し、1秒未満で実行される。
• パイプライン埋め込みに基づくシステム（Ours PE）は、ベースラインAutoMLツールを上回り、HRデータセットでは0.90の正解率、Titanicデータセットでは0.87の正解率を達成し、人間が開発したパイプラインと同等またはそれを上回る性能を示した。
• Seattleデータセットでは、ゼロショットモードで正解率1.00を達成し、1分の時間制限内でOBOEおよびTPOTと同等の性能を発揮した。
• 全9データセットのうち6つで、1分間の計算時間制限内にOBOE、AutoSklearn、AlphaD3M、TPOTを上回った。
• ニューラルメトリック学習フレームワークは、データセットおよび最適パイプライン間の意味的類似度を的確に捉えており、テキストメタデータのみを用いた正確なゼロショット推薦を可能にした。
• 100以上のKaggleコンペティションの解決策を実行可能なScikit-learn形式に変換したAutoKaggleデータセットは、AutoMLシステムの再現性のある評価とベンチマークを可能にした。