[論文レビュー] Preprocessor Selection for Machine Learning Pipelines

Brandon Schoenfeld, Christophe Giraud-Carrier+3 more|arXiv (Cornell University)|Oct 23, 2018

Machine Learning and Data Classification参考文献 5被引用数 8

ひとこと要約

本稿では、機械学習パイプラインにおける前処理手法の選択をメタラーニングで支援する手法を提案している。前処理は平均的には精度を低下させるが、最も精度の高いパイプラインは依然として前処理を用いている。10,368件の実験に基づくランダムフォレストメタラーナーを訓練することで、前処理が性能を向上させるかどうかを62.6%の精度で予測可能となり、AutoMLシステムが前処理を知的選択し、探索空間を削減することが可能になる。

ABSTRACT

Much of the work in metalearning has focused on classifier selection, combined more recently with hyperparameter optimization, with little concern for data preprocessing. Yet, it is generally well accepted that machine learning applications require not only model building, but also data preprocessing. In other words, practical solutions consist of pipelines of machine learning operators rather than single algorithms. Interestingly, our experiments suggest that, on average, data preprocessing hinders accuracy, while the best performing pipelines do actually make use of preprocessors. Here, we conduct an extensive empirical study over a wide range of learning algorithms and preprocessors, and use metalearning to determine when one should make use of preprocessors in ML pipeline design.

研究の動機と目的

• 前処理が機械学習パイプラインの性能に与える影響、特に分類精度と実行時間との関係を調査すること。
• メタラーニングを分類器およびハイパーパramータの選択にとどまらず、機械学習パイプラインにおける前処理の選択へと拡張すること。
• データセットのメタ特徴量に基づいて、前処理が分類器の性能を向上させるかどうかを予測するモデルを構築すること。
• メタラーニングを用いた前処理選択が、ベースライン戦略と比較してAutoMLシナリオにおいてどの程度効果的であるかを評価すること。
• データセットの特徴と選択された分類器に基づいて、前処理を知的に推奨することで、AutoMLシステムの探索空間を縮小すること。

提案手法

• OpenMLから得た192のデータセットを対象に、10,368件以上の機械学習パイプラインのデータを収集。最初の2ステップとして、固定されたデータクリーニング（欠損値補完とワンホットエンコーディング）を実施。
• 8種類の前処理手法（例：Min-Maxスケーラ、PCA、多項式特徴量）と6種類の分類器（例：ランダムフォレスト、ロジスティック回帰）を、デフォルトのハイパーパramータで評価。
• 各データセットから、18個の単純な特徴量、8個の統計的特徴量、1個の情報理論的特徴量、14個のランドマーク特徴量を抽出。加えて、ワンホットエンコーディングされた前処理識別子を含むメタデータセットを構築。
• ランダムフォレスト分類器をメタラーナーとして訓練し、特定の前処理がベースライン（前処理なし）よりもテスト精度を向上させるかどうかを予測する。
• 4つのエージェント（None、Random、Mode、Oracle）を用いてAutoML環境をシミュレート。Oracleは訓練済みのメタラーナーを用いて前処理選択を支援する。
• テストタスク全体にわたり、最適なパイプライン（ブルートフォース探索で特定）と比較して、エージェントが選択したパイプラインの性能がどの程度劣るかを測定して評価。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットと分類器において、前処理は一貫して分類精度を向上させるのか？
• RQ2 データセットのメタ特徴量に基づいて、メタラーニングがどの前処理が分類器の性能を向上させるかを予測できるか？
• RQ3 AutoMLパイプラインにおいて、メタラーニングを用いた前処理選択は、ランダム、モードベース、または前処理なしの戦略と比較してどの程度優れているか？
• RQ4 機械学習パイプラインにおける前処理の使用は、精度と実行時間の間にどのようなトレードオフを生じるか？
• RQ5 メタモデルは、データセットの特性と選択された分類器に基づいて、前処理を知的に推奨することで、AutoMLシステムの探索空間を縮小できるか？

主な発見

• 平均的には、前処理は学習および予測の実行時間を短縮するが、テストされたパイプライン全体では分類精度を低下させる傾向がある。
• 平均的な悪影響にもかかわらず、最も精度の高いパイプライン（学習およびテストデータ両方で）は、前処理を用いている可能性が顕著に高い。
• メタラーナーは、前処理がベースライン（前処理なし）よりも精度を向上させるかどうかを62.6%の精度で予測した。これはモードベースのベースライン（53.0%）を上回った。
• メタラーナーを用いて前処理選択を支援するOracleエージェントは、最適なパイプラインと比較して平均で-6.19%の性能劣化を示し、モードエージェント（-6.57%）を上回り、ランダム（-15.40%）およびNoneエージェント（-10.51%）を顕著に上回った。
• メタラーナーは、データセットの特性と分類器の選択に基づいて有望な前処理を特定することで、AutoMLシステムの有効な探索空間を縮小できた。
• ワンホットエンコーディングと多項式特徴量の組み合わせによる次元の爆発が原因で36のパイプラインが失敗したことは、実際の現場において前処理選択を慎重に行う必要があることを示している。