[논문 리뷰] In-Database Learning with Sparse Tensors

Mahmoud Abo Khamis, Hung Q. Ngo외 3명|arXiv (Cornell University)|2017. 03. 14.

Data Management and Algorithms인용 수 5

한 줄 요약

이 논문은 희소 텐서 연산을 사용하여 관계형 데이터베이스 내부에서 릿지 회귀, 다항 회귀, 인자 분해 기반 기계학습 모델, 주성분 분석(PCA) 등의 통계학적 학습 모델을 훈련하고 평가하기 위한 통합 프레임워크를 제안한다. 관계형 데이터베이스 기술과 선형 대수 기법을 융합함으로써 기존의 비용이 많이 드는 데이터 내보내기 루프를 제거하여 실세계 유통 예측 응용 분야에서 입증된 성능 향상을 이룬다.

ABSTRACT

In-database analytics is of great practical importance as it avoids the costly repeated loop data scientists have to deal with on a daily basis: select features, export the data, convert data format, train models using an external tool, reimport the parameters. It is also a fertile ground of theoretically fundamental and challenging problems at the intersection of relational and statistical data models. This paper introduces a unified framework for training and evaluating a class of statistical learning models inside a relational database. This class includes ridge linear regression, polynomial regression, factorization machines, and principal component analysis. We show that, by synergizing key tools from relational database theory such as schema information, query structure, recent advances in query evaluation algorithms, and from linear algebra such as various tensor and matrix operations, one can formulate in-database learning problems and design efficient algorithms to solve them. The algorithms and models proposed in the paper have already been implemented and deployed in retail-planning and forecasting applications, with significant performance benefits over out-of-database solutions that require the costly data-export loop.

연구 동기 및 목표

• 기존 기계학습 워크플로우에서 데이터베이스와 외부 도구 간에 반복적으로 데이터를 이동하는 데 드는 비용이 많이 드는 데이터 내보내기 루프를 제거하기 위해.
• 다양한 통계학적 학습 모델을 실행할 수 있도록 관계형 데이터베이스 시스템과 통계학적 학습 모델 간 격차를 메우기 위해 데이터베이스 내부에서 실행 가능한 광범위한 모델 클래스를 지원하기 위해.
• 데이터베이스 쿼리 최적화 기법과 텐서 대수 기법을 모두 활용하여 확장 가능하고 효율적인 계산 프레임워크를 개발하기 위해.
• 실세계 응용 분야인 유통 계획 및 예측과 같은 분야에서 데이터베이스 내 학습의 실용성과 성능 이점을 입증하기 위해.
• 릿지 회귀, 다항 회귀, 인자 분해 기반 기계학습 모델, 주성분 분석(PCA)을 포함한 다양한 학습 모델들을 단일 데이터베이스 내 계산 철학 아래 통합하기 위해.

제안 방법

• 관계형 데이터베이스의 스키마 정보와 쿼리 구조를 활용하여 학습 작업을 최적화된 관계대수식 표현으로 표현하기 위해.
• 학습 모델에 필요한 희소 텐서 및 행렬 연산을 효율적으로 계산하기 위해 고급 쿼리 평가 알고리즘을 적용하기 위해.
• 저장소 및 계산 오버헤드를 최소화하기 위해 학습 모델을 희소 텐서 위의 연산으로 표현하기 위해.
• 관계대수 기법과 텐서 인자 분해, 저랭크 근사와 같은 선형 대수 기반 원천을 융합하기 위해.
• 데이터베이스 시스템의 쿼리 최적화기능을 활용하여 학습 계산을 데이터베이스 엔진 내부로 내림내리고 병렬화하기 위해.
• 데이터 이동 및 형식 변환 없이 데이터베이스 내부에서만 모델 훈련과 평가를 완전히 수행하기 위해.

실험 결과

연구 질문

• RQ1 다양한 통계학적 학습 모델을 관계형 데이터베이스 내부에서 직접 훈련하고 평가할 수 있는 통합 프레임워크를 설계할 수 있는가?
• RQ2 희소 텐서 연산을 관계형 데이터베이스 쿼리 실행 모델 내에서 효율적으로 표현하고 최적화할 수 있는가?
• RQ3 실세계 기계학습 파이프라인에서 데이터 내보내기 루프를 제거함으로써 달성할 수 있는 성능 향상은 어느 정도인가?
• RQ4 표준 데이터베이스 최적화 기법을 통계학적 학습 워크로드를 지원하도록 얼마나 넓게 확장할 수 있는가?
• RQ5 기존 외부 데이터베이스 기반 접근 방식에 비해 제안된 데이터베이스 내 알고리즘이 효율성과 확장성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 프레임워크는 릿지 회귀, 다항 회귀, 인자 분해 기반 기계학습 모델, 주성분 분석(PCA)을 관계형 데이터베이스 내부에서 직접 훈련하고 평가하는 데 성공하였다.
• 데이터 내보내기 및 형식 변환을 피했기 때문에 데이터베이스 내 접근 방식이 I/O 및 데이터 이동 오버헤드를 크게 감소시켰다.
• 희소 텐서 연산과 데이터베이스 쿼리 최적화의 통합은 실무 유통 예측 시스템에서 측정 가능한 성능 향상을 이끌어냈다.
• 복잡한 학습 워크로드가 표준 SQL과 관계대수를 사용하여 네이티브로 표현되고 실행될 수 있음을 프레임워크가 입증하였다.
• 특히 반복적이고 특징이 많은 학습 시나리오에서 기존 외부 데이터베이스 기반 파이프라인에 비해 상당한 효율성 향상을 달성하였다.
• 이 방법은 실무 환경에 배포되어 실세계 유통 계획 및 예측 응용 분야에서 효과적임을 입증하였다.