[論文レビュー] Feature Engineering for Predictive Modeling using Reinforcement Learning

Udayan Khurana, Horst Samulowitz+1 more|arXiv (Cornell University)|Sep 21, 2017

Model-Driven Software Engineering Techniques被引用数 28

ひとこと要約

本論文は、特徴量変換の体系的かつ網羅的な列挙を可能にする変換グラフを探索することで、特徴量工学を自動化する強化学習（RL）駆動フレームワークを提案する。性能に基づく探索方策を学習することで、24のデータセット全体で中央値の相対誤差が23.8%低減され、拡張・削減、ランダム、ヒューリスティックなベースラインを上回りながら、解釈可能で合成された特徴量を維持する。

ABSTRACT

Feature engineering is a crucial step in the process of predictive modeling. It involves the transformation of given feature space, typically using mathematical functions, with the objective of reducing the modeling error for a given target. However, there is no well-defined basis for performing effective feature engineering. It involves domain knowledge, intuition, and most of all, a lengthy process of trial and error. The human attention involved in overseeing this process significantly influences the cost of model generation. We present a new framework to automate feature engineering. It is based on performance driven exploration of a transformation graph, which systematically and compactly enumerates the space of given options. A highly efficient exploration strategy is derived through reinforcement learning on past examples.

研究の動機と目的

• 特徴量工学における体系的かつ自動化されたアプローチの欠如に取り組むこと。現在は試行錯誤とドメイン知識に依存している。
• 予測モデリングにおける手動特徴量工学の人的・計算的コストの高さを低減すること。
• 効果的な特徴量変換を効率的に発見する、性能に基づく、予算制約付きの探索戦略を開発すること。
• モデルの解釈性と性能を向上させる、人間が読み取り可能な合成特徴量を生成すること。

提案手法

• フレームワークは、元の特徴量から可能なすべての特徴量変換を符号化する有向無閉路グラフ（DAG）としての変換グラフを構築する。
• 固定予算下で予測性能を最大化するように、変換グラフをナビゲートする探索方策を強化学習で学習する。
• 歴史的な特徴量工学の例を用いて、効果的な変換に対する一般化されたバイアスを学習する。データタイプに応じたバリアントも提供する。
• 例えば「正規化された特徴量の正弦」のような変換の合成をサポートし、複雑で意味のある特徴量工学を可能にする。
• 不要な特徴量を除外してモデル効率を向上させるために、特徴量選択を統合する。
• 探索戦略は適応的であり、最大ノード数（B_max）および最大変換深さ（h_max）によって制約される。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、予測モデリングにおける特徴量変換空間を効果的に探索する性能に基づく戦略を学習できるか？
• RQ2 手作業で設計された戦略（例：幅優先、深さ優先、グローバル探索）と比較して、RLベースの探索方策は高パフォーマンスな特徴量集合を効率的に発見できるか？
• RQ3 本手法は、拡張・削減、ランダム、ヒューリスティックなベースラインと比較して、どれほどモデリング誤差を低減できるか？
• RQ4 特徴量選択と変換の合成の導入は、最終的なモデル性能にどのように影響するか？
• RQ5 RL方策は多様なデータセットと学習アルゴリズムに一般化可能か？

主な発見

• 提案手法は、24の公開データセット全体で、ベースラインデータセットと比較して中央値の相対誤差を23.8%低減した。
• 手作業で設計された戦略（幅優先、深さ優先、グローバル）と比較して、RLベースの探索方策は最適な特徴量集合を発見する際、4〜8倍の効率性を示した。
• 変換に対する一般化されたバイアスを学習するRL1方策は、データタイプに応じた条件付きのRL2方策を上回る効率性を示した。これは、一般化が探索性能を向上させることを示している。
• 最大性能は通常、変換深さ4〜5（h_max=4〜5）で達成されたが、h_max=6では探索コストの増加に起因するわずかな性能劣化が見られた。
• 特徴量選択を組み込むことで、選択なしの場合と比較して性能向上が51%向上した。これは、無関係な特徴量をフィルタリングする価値があることを示している。
• 24のデータセットのうち23件で、拡張・削減およびCognitoのグローバル探索を上回った、または同等の性能を発揮した。唯一の例外は拡張・削減がわずかに優れていたケースであった。