[論文レビュー] Towards Linear Algebra over Normalized Data

Lingjiao Chen, Arun Kumar+2 more|arXiv (Cornell University)|Dec 22, 2016

Advanced Database Systems and Queries参考文献 33被引用数 5

ひとこと要約

本論文では、正規化済み（多テーブル）リlationsデータ上の線形代数（LA）演算を自動的に要因分解するフレームワーク、Morpheusを紹介する。これにより、正規化されたテーブルを物化せずに、効率的な機械学習（ML）が可能になる。『正規化された行列』という論理的データ型と代数的リライト規則を導入することで、Morpheusは線形代数に基づくMLアルゴリズム（例：ロジスティック回帰、K-Means）を最適化され、結合に配慮した計算に変換する。実データ上で最大36倍の高速化を達成し、既存のLAシステムとの互換性を維持する。

ABSTRACT

Providing machine learning (ML) over relational data is a mainstream requirement for data analytics systems. While almost all the ML tools require the input data to be presented as a single table, many datasets are multi-table, which forces data scientists to join those tables first, leading to data redundancy and runtime waste. Recent works on "factorized" ML mitigate this issue for a few specific ML algorithms by pushing ML through joins. But their approaches require a manual rewrite of ML implementations. Such piecemeal methods create a massive development overhead when extending such ideas to other ML algorithms. In this paper, we show that it is possible to mitigate this overhead by leveraging a popular formal algebra to represent the computations of many ML algorithms: linear algebra. We introduce a new logical data type to represent normalized data and devise a framework of algebraic rewrite rules to convert a large set of linear algebra operations over denormalized data into operations over normalized data. We show how this enables us to automatically "factorize" several popular ML algorithms, thus unifying and generalizing several prior works. We prototype our framework in the popular ML environment R and an industrial R-over-RDBMS tool. Experiments with both synthetic and real normalized data show that our framework also yields significant speed-ups, up to 36x on real data.

研究の動機と目的

• 正規化されたデータ上で要因分解実行するためのMLアルゴリズムを手動で再設計する高コストな開発負荷を軽減すること。
• 線形代数を共通の表現言語として用いることで、これまでの即席の要因分解ML手法を統一的かつ一般化すること。
• 既存のLAシステムの内部変更なしに、正規化スキーマ上のLAベースのMLワークロードを自動最適化できること。
• 要因分解ロジックを実行プラットフォームから分離し、R や RDBMS といった多様なLA環境との互換性を保証すること。
• スキーマに配慮したLA最適化を通じてパフォーマンス向上を実現しながら、LA演算の正しさと閉包性を維持すること。

提案手法

• 主キー・外部キーまたはM:N関係を持つ多テーブルデータを表現するための新しい論理的データ型、『正規化された行列』を導入する。
• 非正規化データ上のLA演算（例：行列乗算、転置、行和）を、等価な正規化された基本テーブル上の演算に変換する包括的な代数的リライト規則の設計。
• 入力統計を用いて、要因分解されたLAバージョンが非正規化バージョンを上回る性能を発揮するかどうかを予測するヒューリスティックな意思決定ルールの採用。
• これらのリライト規則を自動的に適用するためのミドルウェアフレームワーク、Morpheusの構築。これによりLAスクリプトの最適化が透明に実行可能になる。
• R や Oracle R Enterprise、SystemML などの既存LAシステムとの統合を、閉包性を保つことで実現。LA演算子の実装変更を回避する。
• 合成および実世界の正規化データセットを用いてフレームワークを検証。標準的な非正規化LA実行と比較してパフォーマンスを測定。

実験結果

リサーチクエスチョン

• RQ1 線形代数は、正規化リlationsデータ上での多様なMLアルゴリズムを体系的かつ要因分解するための統一的フォーマリズムとして用いられるか？
• RQ2 非正規化データ上のLA演算を、等価で効率的な正規化された基本テーブル上の演算に変換するための代数的リライト規則をどのように設計できるか？
• RQ3 要因分解されたLAを非正規化LAよりも優先する意思決定を導くためのヒューリスティクスは何か？ これによりパフォーマンス向上が保証される。
• RQ4 低レベルのシステム変更なしに、一般化され、ポータブルなフレームワークが要因分解MLを自動化できる範囲はどの程度か？
• RQ5 要因分解されたLAアプローチのパフォーマンスは、合成および実際の正規化データ上での従来の非正規化実行と比べてどの程度優れているか？

主な発見

• Morpheusフレームワークは、LA式に代数的リライト規則を適用することで、ロジスティック回帰、K-Means、線形回帰といった複数の一般的なMLアルゴリズムを成功裏に要因分解した。
• 物化された非正規化テーブルに起因する冗長計算を回避することで、実世界の正規化データセット上で最大36倍の高速化を達成した。
• ヒューリスティックな意思決定ルールは、パフォーマンス向上が見込まれる場合にのみ要因分解実行が適用されることを的確に予測した。
• 線形代数の閉包性を維持することで、R や Oracle R Enterprise といった既存のLAシステムとのシームレスな統合が可能になり、内部構造の変更なしに利用可能となった。
• 本アプローチは、過去の即席の要因分解ML技術を一般化・統合し、手動でのアルゴリズム再設計に伴う開発負荷を大幅に削減した。
• 実験により、合成データおよび実際の正規化データの両方で、パフォーマンスメリットが一貫して確認され、実用的なスケーラビリティが実証された。