[논문 리뷰] ARDA: Automatic Relational Data Augmentation for Machine Learning

Nadiia Chepurko, Ryan Marcus외 4명|arXiv (Cornell University)|2020. 03. 21.

Machine Learning and Data Classification참고 문헌 58인용 수 5

한 줄 요약

ARDA는 사용자 기반 테이블에 관련 외부 데이터셋을 자동으로 탐지하고 조인하여 예측 모델 성능을 향상시키는 엔드 투 엔드 시스템이다. 이 시스템은 랜덤 인젝션 특성 선택(RIFS)을 활용한 코어셋 기반 접근 방식을 사용하여 잡음을 걸러내면서도 유용한 특성을 효율적으로 식별함으로써 수동 조작 없이도 실제 데이터셋에서 모델 정확도를 크게 향상시킨다.

ABSTRACT

Automatic machine learning (\AML) is a family of techniques to automate the process of training predictive models, aiming to both improve performance and make machine learning more accessible. While many recent works have focused on aspects of the machine learning pipeline like model selection, hyperparameter tuning, and feature selection, relatively few works have focused on automatic data augmentation. Automatic data augmentation involves finding new features relevant to the user's predictive task with minimal ``human-in-the-loop'' involvement. We present \system, an end-to-end system that takes as input a dataset and a data repository, and outputs an augmented data set such that training a predictive model on this augmented dataset results in improved performance. Our system has two distinct components: (1) a framework to search and join data with the input data, based on various attributes of the input, and (2) an efficient feature selection algorithm that prunes out noisy or irrelevant features from the resulting join. We perform an extensive empirical evaluation of different system components and benchmark our feature selection algorithm on real-world datasets.

연구 동기 및 목표

• 기반 테이블에 대해 의미적으로 관련된 외부 데이터셋을 자동으로 탐지하고 조인함으로써 기계학습 파이프라인에서 데이터 증강을 자동화하는 것.
• 특성 키가 완벽하게 일치하지 않을 경우 발생할 수 있는 노이즈 또는 관련 없는 특성의 도입 문제를 해결하는 것.
• 기존 자동 기계학습(AML) 도구와 원활하게 통합될 수 있는 효율적이고 확장 가능한 방법을 개발하는 것.
• 코어셋 구성, 흐린 조인 전략, 특성 선택이 실제 데이터셋에서 모델 성능 향상에 기여하는지 평가하는 것.
• ARDA를 통한 자동 데이터 증강이 기준 모델 및 기존 특성 선택 기법보다 우수한 성능을 낼 수 있음을 입증하는 것.

제안 방법

• ARDA는 계산 비용을 줄이기 위해 기반 테이블의 소규모 대표 부분집합인 코어셋을 구성한다.
• 시간 기반 또는 공간 기반 키와 같은 불일치하는 키에 대해 보간 및 집계 전략을 사용하여 흐린 조인을 수행함으로써 다양한 해상도를 정렬한다.
• 후보 특성을 무작위 노이즈와 비교하여 모델 성능 향상에 기여하는 특성만 식별하는 새로운 특성 선택 기법인 랜덤 인젝션 특성 선택(RIFS)을 적용한다.
• RIFS는 통계적 유의성 검정을 통해 특성의 예측 능력이 무작위 노이즈를 초월하는지 여부를 판단함으로써 관련 없거나 노이즈가 많은 특성을 걸러낸다.
• 기존 AML 파이프라인과 통합하기 위해 원본 특성에 더해 선택된 고가치 외부 특성을 포함한 증강된 데이터셋을 출력한다.
• 다양한 조인 유형을 지원하며, 데이터 누락 문제를 보완하기 위해 보간 및 집계를 통해 이질적인 데이터 소스의 견고한 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 관계적 조인을 통한 자동 데이터 증강이 인간이 정의한 특성 공학 없이도 예측 모델 성능을 향상시킬 수 있는가?
• RQ2 특성 키가 불완전하거나 일치하지 않을 경우, 기반 테이블과 조인할 유용한 외부 데이터셋을 효과적으로 식별할 수 있는가?
• RQ3 RIFS와 같은 특성 선택 방법이 자동 조인 과정에서 유입된 노이즈 또는 관련 없는 특성을 어느 정도 효과적으로 걸러낼 수 있는가?
• RQ4 코어셋의 사용이 데이터 증강 파이프라인의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ5 ARDA는 다양한 실제 데이터셋에서 기존 AML 시스템에 통합되어 모델 성능을 향상시킬 수 있는가?

주요 결과

• ARDA는 여러 벤치마크 데이터셋에서 모델 정확도를 향상시켰으며, 상호정보 기반 특성 선택을 사용할 경우 F1 스코어가 최대 94.27% 향상되었다.
• RIFS 특성 선택 방법은 노이즈 특성을 효과적으로 걸러내는 데서 전통적 방법(예: Relief 및 로지스틱 회귀)보다 뛰어난 성능을 보였다.
• 평균적으로 ARDA는 특성 수를 50% 이상 감소시키면서도 모델 성능을 유지하거나 향상시켜 노이즈 억제의 효과성을 입증했다.
• 코어셋 기반 접근 방식은 전체 테이블 처리 대비 특성 평가의 계산 비용을 최대 90%까지 감소시켜 확장성을 확보했다.
• 실제 데이터셋인 뉴욕 택시 및 날씨 데이터에서 ARDA는 외부 요인(날씨, 이벤트 등)이 예측 정확도 향상에 기여함을 확인했으며, 뚜렷한 성능 향상을 이룩했다.
• 다양한 특성 선택 알고리즘과 조인 전략에 대해 ARDA는 뛰어난 일반화 능력을 보이며 다양한 데이터 통합 작업에 적용 가능함을 확인했다.