[논문 리뷰] Neural Feature Learning From Relational Database

Hoang Thanh Lam, Tran Ngoc Minh외 3명|arXiv (Cornell University)|2018. 01. 16.

Machine Learning and Data Classification참고 문헌 18인용 수 10

한 줄 요약

이 논문은 관계형 데이터베이스에서 특징 공학을 자동화하기 위해 감독 학습을 통해 최적의 특징 변환을 학습하는 새로운 딥 뉴럴 네트워크 아키텍처인 R2N을 제안한다. 이는 네 개의 Kaggle 경진대회에서 최신 규칙 기반 방법보다 뛰어난 성능을 보이며, 최소한의 수동 작업으로 상위 6–10% 성능을 달성하고, 특징 생성 문제의 NP-난이도를 증명하고 네트워크의 표현 능력을 분석함으로써 이론적 기반을 구축한다.

ABSTRACT

Feature engineering is one of the most important but most tedious tasks in data science. This work studies automation of feature learning from relational database. We first prove theoretically that finding the optimal features from relational data for predictive tasks is NP-hard. We propose an efficient rule-based approach based on heuristics and a deep neural network to automatically learn appropriate features from relational data. We benchmark our approaches in ensembles in past Kaggle competitions. Our new approach wins late medals and beats the state-of-the-art solutions with significant margins. To the best of our knowledge, this is the first time an automated data science system could win medals in Kaggle competitions with complex relational database.

연구 동기 및 목표

• 데이터 과학에서 관계형 데이터베이스에 특화된 수작업이 많고 시간이 오래 걸리는 특징 공학의 핵심적 한계를 해결하기 위해.
• 규칙 기반 특징 공학의 한계, 예를 들어 중복성과 문제 특화된 요구에 대한 적응성 부족을 극복하기 위해.
• 관계형 데이터로부터 직접 의미 있는 특징 변환을 학습하는 감독 기반, 종단 간(end-to-end) 신경망 접근법을 개발하기 위해.
• 관계형 데이터베이스에서 특징 학습의 표현 능력과 복잡도에 대한 이론적 보장을 제공하기 위해.
• 전문 지식에 의존하는 특징 공학의 의존도를 줄여 데이터 과학의 민주화를 가능하게 하기 위해.

제안 방법

• 모든 훈련 예제가 외래 키 관계를 기반으로 트리 구조로 변환되는 다중 테이블 조인을 인코딩하기 위해 관계형 트리 표현을 사용한다.
• 이러한 관계형 트리를 처리하여 압축되고 의미 있는 특징 표현을 학습하는 새로운 딥 뉴럴 네트워크 아키텍처인 R2N(Relational-to-Vector Network)을 적용한다.
• 각 층이 결합된 관계 경로의 점점 더 추상적인 표현을 캡처하는 방식으로 트리 구조 데이터에 계층적 변환을 적용한다.
• 최종 층은 하위 기계 학습 모델에 적합한 고정 크기의 특징 벡터를 생성하기 위해 완전 연결 네트워크를 사용한다.
• 특히 데이터가 적은 환경에서의 모델의 강건성과 일반화 능력을 향상시키기 위해 부트스트래핑 기법을 적용한다.
• 목표 레이블에 대한 예측 성능 최적화를 위해 종단 간 감독 학습 방식으로 학습된다.

실험 결과

연구 질문

• RQ1 수작업 규칙에 의존하지 않고 딥 뉴럴 네트워크가 관계형 데이터베이스에서 효과적으로 유용한 특징을 학습할 수 있는가?
• RQ2 제안된 R2N 아키텍처가 다중 테이블 관계형 데이터의 복잡한 비선형 관계를 캡처할 수 있는가?
• RQ3 실제 세계의 데이터 과학 경진대회에서 R2N의 성능은 DFS와 같은 최신 규칙 기반 특징 공학 시스템과 비교해 어떻게 되는가?
• RQ4 관계형 데이터베이스에서 특징 학습 문제의 계산 복잡도는 무엇이며, 이를 공식적으로 특성화할 수 있는가?
• RQ5 이론적 분석을 통해 제안된 신경망 아키텍처가 관계형 특징 학습에 대해 보편적인 표현 능력을 갖추고 있는가?

주요 결과

• R2N은 네 개의 Kaggle 경진대회에서 최신 규칙 기반 특징 공학 시스템인 DFS를 능가하며, 그 중 세 개의 대회에서 참가자들의 상위 6–10% 성능을 달성했다.
• 이 방법은 최소한의 데이터 준비 작업으로도 경쟁적인 성능을 내며, 일반적으로 Kaggle 경진대회가 수개월에 걸리는 데 비해 수주 내로 완료되었다.
• 관계형 데이터베이스의 특징 생성 문제는 공식적으로 NP-난이도임을 증명하여 이 작업의 어려움에 대한 이론적 기반을 마련했다.
• R2N 아키텍처는 복잡한 비선형 변환을 관계형 트리 구조에서 학습할 수 있는 강력한 표현 능력을 보였다.
• 부트스트래핑의 사용은 모델의 강건성을 크게 향상시켜 단일 R2N 모델보다 뛰어난 성능을 내며 일반화 능력을 향상시켰다.
• 제안된 방법은 전문 지식 의존도를 줄이고 데이터 과학 워크플로우의 가속화를 가능하게 하며, 자동화되고 스케일 가능하며 도메인에 관계없이 적용 가능한 특징 공학을 실현했다.