[논문 리뷰] Large Language Models for Automated Data Science: Introducing CAAFE for Context-Aware Automated Feature Engineering

Noah Hollmann, Samuel Müller외 1명|arXiv (Cornell University)|2023. 05. 05.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 데이터셋 설명을 바탕으로 대량의 언어 모델(Large Language Models, LLMs)을 사용해 반복적으로 의미 있는 특징을 생성하는 CAAFE(Context-Aware Automated Feature Engineering)를 소개한다. 실행 가능한 파이썬 코드와 인간이 읽을 수 있는 설명을 동시에 생성함으로써, CAAFE는 하류 모델 성능을 햖스리며, 14개의 데이터셋을 대상으로 평균 ROC AUC를 0.798에서 0.822로 향상시켰고, 해석 가능성과 반복 가능한, 맥락 인식 기반의 데이터 과학 워크플로우를 가능하게 한다.

ABSTRACT

As the field of automated machine learning (AutoML) advances, it becomes increasingly important to incorporate domain knowledge into these systems. We present an approach for doing so by harnessing the power of large language models (LLMs). Specifically, we introduce Context-Aware Automated Feature Engineering (CAAFE), a feature engineering method for tabular datasets that utilizes an LLM to iteratively generate additional semantically meaningful features for tabular datasets based on the description of the dataset. The method produces both Python code for creating new features and explanations for the utility of the generated features. Despite being methodologically simple, CAAFE improves performance on 11 out of 14 datasets -- boosting mean ROC AUC performance from 0.798 to 0.822 across all dataset - similar to the improvement achieved by using a random forest instead of logistic regression on our datasets. Furthermore, CAAFE is interpretable by providing a textual explanation for each generated feature. CAAFE paves the way for more extensive semi-automation in data science tasks and emphasizes the significance of context-aware solutions that can extend the scope of AutoML systems to semantic AutoML. We release our $\href{https://github.com/automl/CAAFE}{code}$, a simple $\href{https://colab.research.google.com/drive/1mCA8xOAJZ4MaB_alZvyARTMjhl6RZf0a}{demo}$ and a $\href{https://pypi.org/project/caafe/}{python\ package}$.

연구 동기 및 목표

• 현재 자동 기계 학습(AutoML) 시스템이 데이터 엔지니어링 및 도메인 지식 통합을 간과하고 있는 격차를 메우기 위해.
• 대규모 언어 모델(LLMs)에 내장된 광범위한 도메인 지식을 활용해 자동 특징 엔지니어링을 가능하게 하기 위해.
• 맥락 인식 기반의 의미 있는 특징 생성을 통해 테이블 데이터에 대한 모델 성능을 향상시키기 위해.
• 각 생성된 특징에 대한 텍스트 설명을 제공함으로써 해석 가능성을 확보하고 신뢰도 및 사용성을 향상시키기 위해.
• 코드를 인터페이스로 사용함으로써 LLM과 기존 기계 학습 간의 격차를 메우며, LLM의 창의성과 기존 기계 학습의 강건성을 결합하기 위해.

제안 방법

• CAFE는 사용자가 지정한 데이터셋 설명과 맥락을 바탕으로 LLM이 새로운 의미 있는 특징을 위한 파이썬 코드를 생성한다.
• 이 시스템은 반복적으로 작동한다: LLM이 특징 엔지니어링 작업을 제안하고, 이는 하류 예측 모델에서 교차 검증을 통해 실행되고 평가된다.
• 성능 향상은 특징 추가 전후의 예측 모델 AUC를 비교하여 검증된다.
• 성능 향상을 이룬 특징만 유지되며, 이는 알고리즘 피드백이 프로세스를 이끈다는 것을 보장한다.
• 각 생성된 특징에는 그 유용성을 설명하는 자연어 주석이 포함되어 있어 해석 가능성을 확보한다.
• 이 방법은 코드를 LLM과 기존 기계 학습 모델 간의 인터페이스로 간주함으로써 재현 가능하고 검증 가능한 자동화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 LLM을 사용해 테이블 예측 성능 향상에 기여하는 맥락 인식 기반의 의미 있는 특징을 효과적으로 생성할 수 있는가?
• RQ2 CAFE의 성능는 로지스틱 회귀 및 랜덤 포레스트와 같은 전통적 기준 모델과 비교해 어떻게 되는가?
• RQ3 LLM이 생성한 특징은 텍스트 설명을 통해 어느 정도 해석하고 검증할 수 있는가?
• RQ4 LLM을 활용한 반복적이고 피드백 기반의 특징 생성이 일관되고 재현 가능한 모델 성능 향상으로 이어질 수 있는가?
• RQ5 CAFE는 다양한 도메인 맥락을 가진 다양한 테이블 데이터셋에 대해 어떻게 스케일링되는가?

주요 결과

• CAFE는 14개의 다양한 테이블 데이터셋을 대상으로 평균 ROC AUC 성능을 0.798에서 0.822로 향상시켰으며, 이는 0.024의 절대적 향상이다.
• 성능 향상 수준는 동일한 데이터셋에서 로지스틱 회귀에서 랜덤 포레스트로의 업그레이드와 유사하다.
• 이 방법은 14개 데이터셋 중 11개에서 특징 생성에 성공하여 일관된 향상 잠재력을 입증했다.
• 각 생성된 특징은 자연어 설명을 동반하여 해석 가능성을 확보하고 사용자 신뢰를 높였다.
• LLM과 기존 기계 학습 모델 간의 인터페이스로 실행 가능한 코드를 사용함으로써 재현 가능성을 달성했다.
• CAFE는 LLM을 통해 도메인 지식을 AutoML에 통합하는 것이 가능함을 보여주며, AutoML를 의미론적 AutoML로 확장하는 데 기여한다.