[논문 리뷰] Reinforcement-Enhanced Autoregressive Feature Transformation: Gradient-steered Search in Continuous Space for Postfix Expressions

Dongjie Wang, Meng Xiao외 4명|arXiv (Cornell University)|2023. 09. 24.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 후위 표기법 임베딩을 사용하여 이산적 자동 특성 변환을 연속 최적화 문제로 재구성하는 강화학습 기반의 자동 회귀 프레임워크인 MOAT을 제안한다. RL 기반의 데이터 수집, 연속 임베딩 공간 학습, 기울기 기반 탐색, 비트 서치 재구성 기법을 통해 MOAT는 다양한 데이터셋과 후행 모델에서 최신 기술 수준의 성능을 달성하며, 뛰어난 효율성과 강건성을 입증한다.

ABSTRACT

Feature transformation aims to generate new pattern-discriminative feature space from original features to improve downstream machine learning (ML) task performances. However, the discrete search space for the optimal feature explosively grows on the basis of combinations of features and operations from low-order forms to high-order forms. Existing methods, such as exhaustive search, expansion reduction, evolutionary algorithms, reinforcement learning, and iterative greedy, suffer from large search space. Overly emphasizing efficiency in algorithm design usually sacrifices stability or robustness. To fundamentally fill this gap, we reformulate discrete feature transformation as a continuous space optimization task and develop an embedding-optimization-reconstruction framework. This framework includes four steps: 1) reinforcement-enhanced data preparation, aiming to prepare high-quality transformation-accuracy training data; 2) feature transformation operation sequence embedding, intending to encapsulate the knowledge of prepared training data within a continuous space; 3) gradient-steered optimal embedding search, dedicating to uncover potentially superior embeddings within the learned space; 4) transformation operation sequence reconstruction, striving to reproduce the feature transformation solution to pinpoint the optimal feature space.

연구 동기 및 목표

• 특성 변환 연산의 지수적으로 큰 이산 공간을 효율적으로 탐색하는 데 도전한다.
• 초기화 및 훈련 데이터 품질에 민감한 개방형 학습 환경에서 자동 특성 변환의 강건성을 향상시킨다.
• 진화 알고리즘, 강화학습, NAS와 같은 기존 방법의 한계를 극복하기 위해 특성 변환을 연속 최적화 과제로 재정의한다.
• 다양한 후행 기계학습 모델과 데이터셋에 일반화되는 확장 가능하고 안정적인 프레임워크를 개발한다.
• 임베딩 기반 연속 탐색과 재구성으로 최적의 특성 변환 순서를 엔드 투 엔드로 학습할 수 있도록 한다.

제안 방법

• 고품질의 변환 연산 순서-정확도 쌍을 자동으로 탐색하고 수집하기 위해 계층적 강화학습 에이전트를 사용한다. 이는 훈련 데이터로 기능한다.
• 각 특성 변환 순서를 후위 표기법으로 표현하여 유연하고 깊이에 의존하지 않는 순서 모델링 및 자동 길이 결정을 가능하게 한다.
• 변환 순서를 연속 임베딩 공간으로 매핑하는 인코더-디코더-평가기 모델을 훈련시켜 변환 정확도 의미를 유지한다.
• 최적의 성능을 내는 특성 변환에 해당하는 높은 품질의 비이산 임베딩을 찾기 위해 연속 임베딩 공간에서 기울기 기반 탐색을 수행한다.
• 비트 서치를 사용하여 최상의 임베딩에서 최적의 변환 순서를 재구성함으로써 최종 솔루션의 타당성과 해석 가능성 확보한다.
• 학습된 임베딩 공간을 활용해 다양한 후행 모델 간 일반화를 달성하고, 모델 선택 및 데이터 분포 변화에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 이산적 특성 변환을 연속 최적화 문제로 재구성함으로써 이산 탐색 방법 대비 탐색 효율성과 수렴 안정성 향상이 가능한가?
• RQ2 강화학습 기반 데이터 수집기가 훈련을 위한 고품질의 정확도 최적화된 변환 순서를 얼마나 효과적으로 생성하는가?
• RQ3 변환 순서를 후위 표기법으로 표현함으로써 자동 순서 길이 결정이 가능해지고 계산 오버헤드가 얼마나 감소하는가?
• RQ4 학습된 연속 임베딩 공간에서 기울기 기반 탐색이 이산 탐색으로는 도달할 수 없는 우수한 특성 변환을 발견할 수 있는가?
• RQ5 제안된 프레임워크는 다양한 후행 기계학습 모델과 데이터셋에서 얼마나 강건한가?

주요 결과

• MOAT는 Spectf 데이터셋에서 F1 점수 0.897, HTRU2 데이터셋에서 0.929를 기록하며 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• Random Forest, XGBoost, SVM, KNN, Ridge, LASSO, Decision Tree와 같은 다양한 후행 모델에서 최상의 성능을 유지하며 강력한 강건성을 입증한다.
• RL 기반 데이터 수집기가 훈련 데이터 품질을 크게 향상시켜, 모델이 후행 모델 행동에 맞는 변환 선호도를 학습할 수 있도록 한다.
• 연속 임베딩 공간은 효율적이고 안정적인 최적화를 가능하게 하여 속도와 솔루션 품질 측면에서 이산 탐색 방법을 능가한다.
• 비트 서치 기반 재구성 모듈은 학습된 임베딩에서 타당하고 높은 성능을 내는 변환 순서를 효과적으로 생성한다.
• 광범위한 아블레이션 연구를 통해 각 구성 요소의 중요성이 확인되었다: RL 데이터 수집, 후위 표기법 표현, 기울기 기반 탐색은 최적 성능 달성에 필수적이다.