[논문 리뷰] DIFER: Differentiable Automated Feature Engineering

Guanghui Zhu, Zhuoer Xu외 3명|arXiv (Cornell University)|2020. 10. 17.

Machine Learning and Data Classification참고 문헌 19인용 수 4

한 줄 요약

DIFER는 인코더-예측기-디코더 아키텍처를 사용하여 연속 벡터 공간에서 특성 탐색을 수행하는 최초의 미분 가능한 자동 특성 공학 방법을 제안한다. 기울기 상승을 통해 특성 임베딩을 최적화하고 이를 다시 이산 특성으로 디코딩함으로써 DIFER는 이전 방법들보다 40배 적은 특성 평가 수로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Feature engineering, a crucial step of machine learning, aims to extract useful features from raw data to improve data quality. In recent years, great efforts have been devoted to Automated Feature Engineering (AutoFE) to replace expensive human labor. However, existing methods are computationally demanding due to treating AutoFE as a coarse-grained black-box optimization problem over a discrete space. In this work, we propose an efficient gradient-based method called DIFER to perform differentiable automated feature engineering in a continuous vector space. DIFER selects potential features based on evolutionary algorithm and leverages an encoder-predictor-decoder controller to optimize existing features. We map features into the continuous vector space via the encoder, optimize the embedding along the gradient direction induced by the predicted score, and recover better features from the optimized embedding by the decoder. Extensive experiments on classification and regression datasets demonstrate that DIFER can significantly improve the performance of various machine learning algorithms and outperform current state-of-the-art AutoFE methods in terms of both efficiency and performance.

연구 동기 및 목표

• 이산 특성 공간에서 작동하는 기존 AutoFE 방법들이 겪는 계산 비효율성과 특성 폭발 문제를 해결하기 위해.
• 검색 과정을 연속 최적화 문제로 재구성하여 효율적이고 효과적인 자동 특성 공학을 가능하게 하기 위해.
• 엔드 투 엔드로 미분 가능한 특성 진화를 지원하는 인코더-예측기-디코더 아키텍처 기반의 새로운 특성 최적화기 개발하기 위해.
• 미분 가능한 특성 탐색이 계산 비용을 줄이며 모델 성능을 크게 향상시킬 수 있음을 입증하기 위해.
• 다양한 기계 학습 작업에 적용 가능한 유연하고 확장 가능한 자동 특성 공학 프레임워크 제공하기 위해.

제안 방법

• 잠재 벡터 공간에서의 연속 최적화를 통해 반복적으로 더 나은 특성을 생성하는 진화적 프레임워크를 제안한다.
• 복잡한 특성 변환을 위한 유연하고 표현력 있는 표현을 가능하게 하는 파싱 트리 구조를 특성으로 표현한다.
• 파생 트리의 순회 문자열을 연속 임베딩 벡터로 매핑하기 위해 인코더를 사용한다.
• 임베딩 기반으로 특성의 성능 점수를 추정하기 위해 예측기 네트워크를 활용하여 기울기 기반 최적화를 가능하게 한다.
• 성능 향상을 위해 임베딩 공간에서 기울기 상승을 적용한 후, 최적화된 임베딩에서 이산 특성을 재구성하기 위해 디코더를 사용한다.
• 전체 파ip라인을 기울기 기반으로 가능한 엔드 투 엔드 프레임워크로 통합하여 특성 생성 과정을 거쳐 역전파가 가능하게 한다.

실험 결과

연구 질문

• RQ1 연속 잠재 공간에서의 미분 가능한 최적화가 자동 특성 공학에서 이산 탐색보다 우월한가?
• RQ2 DIFER의 연속 특성 최적화는 기존 AutoFE 방법에 비해 모델 성능과 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 시퀀스 기반 방법에 비해 파싱 트리 표현 방식이 특성 생성의 표현력과 유연성에 얼마나 기여하는가?
• RQ4 DIFER의 기울기 기반 특성 최적화기는 다양한 기계 학습 알고리즘과 데이터셋에 일반화되는가?
• RQ5 DIFER의 성능는 임베딩 공간의 하이퍼파ram터 설정과 초기화에 얼마나 민감한가?

주요 결과

• DIFER는 분류 및 회귀 데이터셋 25개 중 22개에서 최신 기술 수준(SOTA) AutoFE 방법보다 뛰어난 모델 성능을 달성한다.
• DIFER는 SOTA 방법 대비 40배 적은 특성 평가 수로 이 성능 향상을 달성하여 계산 효율성을 크게 향상시켰다.
• 다양한 데이터셋과 기계 학습 모델에서 일관된 성능 향상을 보이며 강력한 일반화 능력을 입증했다.
• 제거 실험 결과, 미분 가능한 최적화 구성요소와 인코더-예측기-디코더 아키텍처가 DIFER의 성능에 핵심적인 영향을 미친다.
• 시퀀스 기반 표현 방식에 비해 파싱 트리의 사용이 더 표현력 있고 민감한 특성 생성을 가능하게 하여 더 나은 탐색 효율성과 품질 기여했다.
• DIFER의 구현 코드는 GitHub에 공개되어 있어 재현성과 향후 연구를 가능하게 한다.