[論文レビュー] Reinforcement-Enhanced Autoregressive Feature Transformation: Gradient-steered Search in Continuous Space for Postfix Expressions

Dongjie Wang, Meng Xiao+4 more|arXiv (Cornell University)|Sep 24, 2023

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、後置記法表現の埋め込みを用いて離散的自動特徴量変換を連続最適化問題に再定式化する、強化学習を強化した自己回帰フレームワークMOATを提案する。RLに基づくデータ収集、連続埋め込み空間学習、勾配駆動探索、ビーム探索再構成を活用することで、多様なデータセットおよび下流モデルにおいて最先端の性能を達成し、優れた効率性と頑健性を示す。

ABSTRACT

Feature transformation aims to generate new pattern-discriminative feature space from original features to improve downstream machine learning (ML) task performances. However, the discrete search space for the optimal feature explosively grows on the basis of combinations of features and operations from low-order forms to high-order forms. Existing methods, such as exhaustive search, expansion reduction, evolutionary algorithms, reinforcement learning, and iterative greedy, suffer from large search space. Overly emphasizing efficiency in algorithm design usually sacrifices stability or robustness. To fundamentally fill this gap, we reformulate discrete feature transformation as a continuous space optimization task and develop an embedding-optimization-reconstruction framework. This framework includes four steps: 1) reinforcement-enhanced data preparation, aiming to prepare high-quality transformation-accuracy training data; 2) feature transformation operation sequence embedding, intending to encapsulate the knowledge of prepared training data within a continuous space; 3) gradient-steered optimal embedding search, dedicating to uncover potentially superior embeddings within the learned space; 4) transformation operation sequence reconstruction, striving to reproduce the feature transformation solution to pinpoint the optimal feature space.

研究の動機と目的

• 特徴量変換操作の指数的増加する離散的空間を効率的に探索する課題に対処する。
• 初期化や学習データ品質に敏感なオープン学習環境における自動特徴量変換の頑健性を向上させる。
• 進化的アルゴリズム、強化学習、NASなどの既存手法の限界を克服するため、特徴量変換を連続最適化タスクとして定式化する。
• 多様な下流機械学習モデルおよびデータセットに一般化可能なスケーラブルで安定したフレームワークを開発する。
• 埋め込みベースの連続的探索と再構成を通じて、最適な特徴量変換シーケンスのエンドツーエンド学習を可能にする。

提案手法

• 高品質な変換操作シーケンスと精度のペアを自動的に探索・収集するため、段階的な強化学習エージェントを用いる。
• 各特徴量変換シーケンスを後置記法として表現することで、柔軟で深さに依存しないシーケンスモデリングと自動的な長さ決定を可能にする。
• 変換シーケンスを連続埋め込み空間にマップするエンコーダ・デコーダ・評価モデルを訓練し、変換精度の意味的性質を保持する。
• 連続埋め込み空間での勾配駆動探索を実行し、優れた、おそらく離散的でない埋め込みを同定し、高性能な特徴量変換に対応させる。
• 最良の埋め込みからビーム探索を用いて最適な変換シーケンスを再構成し、最終解の妥当性と解釈可能性を保証する。
• 学習済み埋め込み空間を活用して、異なる下流モデルにわたる一般化を実現し、モデル選択やデータ分布の変化に対して頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 離散的特徴量変換を連続最適化問題に再定式化することで、離散的探索手法と比較して探索効率と収束安定性が向上するか？
• RQ2 強化学習に基づくデータコレクタは、訓練用に高品質で精度最適化された変換シーケンスを効果的に生成できるか？
• RQ3 変換シーケンスを後置記法として表現することで、自動的なシーケンス長の決定が可能になり、計算負荷がどれほど低減されるか？
• RQ4 学習済み連続埋め込み空間での勾配ベース探索は、離散的探索では到達できない優れた特徴量変換を発見できるか？
• RQ5 提案フレームワークは、多様な下流機械学習モデルおよびデータセットに対してどれほど頑健か？

主な発見

• MOATは、SpectfデータセットでF1スコア0.897、HTRU2データセットで0.929を記録し、複数のベンチマークデータセットで最先端の性能を達成した。
• ランダムフォレスト、XGBoost、SVM、KNN、リッジ、LASSO、決定木といった多様な下流モデルにおいても、トップ性能を維持し、強い頑健性を示した。
• RLベースのデータコレクタは訓練データの品質を顕著に向上させ、モデルが下流モデルの挙動に一致する変換の好みを学習できるようにした。
• 連続埋め込み空間により、効率的で安定した最適化が可能となり、速度および解の品質の両面で離散的探索手法を上回った。
• ビーム探索に基づく再構成モジュールは、学習済み埋め込みから妥当で高性能な変換シーケンスを効果的に生成した。
• 広範なアブレーションスタディにより、各コンポonent（RLデータ収集、後置記法表現、勾配駆動探索）が最適性能を達成するために重要であることが確認された。