[논문 리뷰] Towards Linear Algebra over Normalized Data

Lingjiao Chen, Arun Kumar외 2명|arXiv (Cornell University)|2016. 12. 22.

Advanced Database Systems and Queries참고 문헌 33인용 수 5

한 줄 요약

이 논문은 정규화된(다중 테이블) 관계형 데이터 위에서 선형 대수(LA) 연산을 자동으로 인수분해하는 프레임워크인 Morpheus를 소개한다. 이를 통해 정규화되지 않은 테이블을 물리적으로 생성하지 않더라도 효율적인 기계학습(ML)을 가능하게 한다. '정규화된 행렬'이라는 논리적 유형과 대수적 리라이팅 규칙을 도입함으로써, Morpheus는 로지스틱 회귀나 K-평균과 같은 LA 기반 ML 알고리즘을 최적화된 조인 인식 계산으로 변환하며, 실제 데이터에서 최대 36배의 성능 향상을 달성한다. 이는 기존 LA 시스템과의 호환성을 유지하면서 이루어진다.

ABSTRACT

Providing machine learning (ML) over relational data is a mainstream requirement for data analytics systems. While almost all the ML tools require the input data to be presented as a single table, many datasets are multi-table, which forces data scientists to join those tables first, leading to data redundancy and runtime waste. Recent works on "factorized" ML mitigate this issue for a few specific ML algorithms by pushing ML through joins. But their approaches require a manual rewrite of ML implementations. Such piecemeal methods create a massive development overhead when extending such ideas to other ML algorithms. In this paper, we show that it is possible to mitigate this overhead by leveraging a popular formal algebra to represent the computations of many ML algorithms: linear algebra. We introduce a new logical data type to represent normalized data and devise a framework of algebraic rewrite rules to convert a large set of linear algebra operations over denormalized data into operations over normalized data. We show how this enables us to automatically "factorize" several popular ML algorithms, thus unifying and generalizing several prior works. We prototype our framework in the popular ML environment R and an industrial R-over-RDBMS tool. Experiments with both synthetic and real normalized data show that our framework also yields significant speed-ups, up to 36x on real data.

연구 동기 및 목표

• 정규화된 데이터 위에서 인라인 실행을 위한 수작업으로 알고리즘을 재작성하는 데 드는 높은 개발 오버헤드를 해결하기 위해.
• 선형 대수를 공통 표현 언어로 활용하여 이전의 일시적인 인라인 ML 접근법을 통합하고 일반화하기 위해.
• 기존의 LA 시스템을 수정하지 않고도 정규화된 스키마에서 LA 기반 ML 워크로드의 자동 최적화를 가능하게 하기 위해.
• 인라인화 로직을 실행 플랫폼에서 분리하여, R 및 RDBMS와 같은 다양한 LA 환경과의 호환성을 보장하기 위해.
• 스키마 인식 LA 최적화를 통해 성능 향상을 이루면서도, LA 연산의 정확성과 닫힘 성질을 유지하기 위해.

제안 방법

• 기본 키-외래 키 또는 M:N 관계를 가진 다중 테이블 데이터를 표현하기 위해 '정규화된 행렬'이라는 새로운 논리적 데이터 유형을 도입한다.
• 정규화되지 않은 데이터 위에서 LA 연산(예: 행렬 곱셈, 전치, 행 합계 등)을 정규화된 기본 테이블 위에서 동일한 결과를 내는 연산으로 변환하기 위한 체계적인 대수적 리라이팅 규칙 세트를 설계한다.
• 입력 통계를 활용하여 인라인 LA 버전이 정규화되지 않은 버전보다 성능이 뛰어날지 예측하는 히우리스틱 결정 규칙을 적용한다.
• 이러한 리라이팅 규칙을 자동으로 적용하여 LA 스크립트를 최적화할 수 있도록 하는 미들웨어 프레임워크인 Morpheus를 구축한다.
• 기존 LA 시스템(예: R, Oracle R Enterprise, SystemML)과의 닫힘 성질을 통해 연산자 인터페이스를 수정하지 않고 통합한다.
• 합성 및 실제 정규화된 데이터 세트를 사용하여 프레임워크를 검증하고, 표준 정규화되지 않은 LA 실행 방식과의 성능을 측정한다.

실험 결과

연구 질문

• RQ1 선형 대수는 정규화된 관계형 데이터 위에서 다양한 ML 알고리즘을 체계적으로 인라인화하기 위한 통합 형식 언어로 사용될 수 있는가?
• RQ2 정규화되지 않은 데이터 위의 LA 연산을 정규화된 기본 테이블 위에서 동일한 결과를 내는 효율적인 연산으로 변환하기 위해 어떤 대수적 리라이팅 규칙을 설계할 수 있는가?
• RQ3 인라인 LA를 정규화되지 않은 LA보다 사용할지 결정하는 데 도움이 되는 히우리스틱은 무엇인가, 성능 향상을 보장하기 위해?
• RQ4 저수준 시스템 수정 없이도 일반적이고 이식 가능한 프레임워크가 얼마나 잘 인라인 ML을 자동화할 수 있는가?
• RQ5 실제 및 합성된 정규화된 데이터에서 인라인 LA 접근법의 성능은 기존의 정규화되지 않은 실행 방식과 비교해 어떤가?

주요 결과

• Morpheus 프레임워크는 LA 식에 대수적 리라이팅 규칙를 적용함으로써 로지스틱 회귀, K-평균, 선형 회귀와 같은 다수의 인기 있는 ML 알고리즘을 성공적으로 인라인화한다.
• 정규화되지 않은 테이블을 물리적으로 생성하지 않음으로써 실제 정규화된 데이터 세트에서 최대 36배의 성능 향상을 달성한다.
• 히우리스틱 결정 규칙는 성능 향상을 정확하게 예측하여, 인라인 실행이 유익할 경우에만 적용되도록 보장한다.
• 선형 대수의 닫힘 성질을 유지함으로써 R 및 Oracle R Enterprise와 같은 기존 LA 시스템과 원활하게 통합되며, 내부 수정 없이도 가능하다.
• 프레임워크는 이전의 일시적인 인라인 ML 기법을 일반화하고 통합하여, 알고리즘 수작업 재작성으로 인한 개발 오버헤드를 줄였다.
• 실험 결과는 성능 이점이 합성 및 실제 정규화된 데이터 모두에서 일관되게 유지됨을 확인하였으며, 실용적인 확장성을 입증한다.