[論文レビュー] Towards a more efficient representation of imputation operators in TPOT

Unai Garciarena, Alexander Mendiburu+1 more|arXiv (Cornell University)|Jan 13, 2018

Evolutionary Algorithms and Applications参考文献 16被引用数 3

ひとこと要約

本稿では、欠損値補完手法（IMs）をTPOT、自動機械学習パイプライン最適化ツールにより効率的に統合する、強型な遺伝的プログラミング（GP）アプローチを提案する。IMsをパイプラインの開始部にのみ配置可能な制約付き演算子として再定義することにより、非妥当なパイプラインの数を著しく削減し、探索効率と精度を向上させる。その代償として、より大きなが探索空間をカバーするが、より効果的であるため、実行時間はわずかに増加する。

ABSTRACT

Automated Machine Learning encompasses a set of meta-algorithms intended to design and apply machine learning techniques (e.g., model selection, hyperparameter tuning, model assessment, etc.). TPOT, a software for optimizing machine learning pipelines based on genetic programming (GP), is a novel example of this kind of applications. Recently we have proposed a way to introduce imputation methods as part of TPOT. While our approach was able to deal with problems with missing data, it can produce a high number of unfeasible pipelines. In this paper we propose a strongly-typed-GP based approach that enforces constraint satisfaction by GP solutions. The enhancement we introduce is based on the redefinition of the operators and implicit enforcement of constraints in the generation of the GP trees. We evaluate the method to introduce imputation methods as part of TPOT. We show that the method can notably increase the efficiency of the GP search for optimal pipelines.

研究の動機と目的

• 欠損値補完手法（IMs）を統合する際、非妥当なパイプラインが多数生成されるという、従来のTPOT手法の非効率性に対処すること。
• 遺伝的プログラミング（GP）におけるIM統合の構造的制約を強制することで、TPOTの探索効率を向上させること。
• IMsをパイプライン最適化プロセスの一部として進化可能にするが、初期段階で固定するのではなく、柔軟に統合すること。
• 既存の文法ベースのGPフレームワークと互換性を保ちつつ、欠損データを扱える表現力を強化すること。
• 次世代の制約付き機械学習演算子（例：次元削減や特徴量スケーリング）への拡張を可能にする基盤を構築すること。

提案手法

• GP文法内に特別な制約付き演算子としてIMsを再定義し、パイプラインの開始部にのみ配置可能であることを保証する。
• パイプラインの開始部に正確に1つのIMが存在するという概念的制約を導入し、後続のパイプライン部にIMが配置されるのを防ぐ。
• 強型GPを用いて型の一貫性を保証し、木構造生成中に非妥当なパイプライン構造が生じないようにする。
• 文法を変更し、複数のIMや誤った配置を禁止する制約を埋め込み、後続のコンponentsにのみ補完済みデータが流れ込むことを保証する。
• 新しい文法構造をサポートするために、TPOTの既存GPフレームワークを最小限の変更で統合する。
• IMsが初期補完ステップ以降に挿入されないようにすることで、後続コンponentsが常に補完済みデータを受け取ることを保証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、非妥当なパイプラインが多数生成されるのを防ぎつつ、IMsをTPOTの遺伝的プログラミングに基づくパイプライン探索に効率的に統合できるか？
• RQ2 IMsをパイプラインの開始部にのみ配置する厳密な制約を課すことで、探索効率と解の品質にどのような影響を与えるか？
• RQ3 埋め込み制約を持つ強型GP文法は、欠損データが存在する環境下でTPOTの収束性と性能を向上させられるか？
• RQ4 IMsを単なる前処理ユニットとして扱う従来のアプローチと比較して、提案手法は精度と計算コストの点でどのように異なるか？
• RQ5 この制約ベースの文法拡張は、自動パイプライン最適化における他の機械学習演算子へどの程度一般化可能か？

主な発見

• 新しい文法を用いた強化版TPOTは、9つのすべてのデータセットにおいて、従来のアプローチよりも高い平均精度を一貫して達成した。特に初期評価段階で顕著な向上が見られた。
• IMsがパイプラインの開始部にのみ配置可能であるという制約を強制したことで、非妥当なパイプラインの数が著しく削減された。
• 評価パイプライン数が増加したため、実行時間はわずかに増加したが、探索効率の向上により、より良い解に早く収束した。
• ランダムに生成された妥当なパイプラインへのバイアスが軽減され、進化プロセスがより多様で効果的なパイプライン構造を探索できるようになった。
• 結果として、IMsを進化プロセスに統合することで、固定された前処理による補完よりも優れたモデル性能が得られることが示された。
• 本手法は拡張可能であり、特徴量スケーリングや次元削減などの他の制約付き機械学習演算子をパイプライン進化プロセスに統合するためにも応用可能である。