[論文レビュー] In-Database Learning with Sparse Tensors

Mahmoud Abo Khamis, Hung Q. Ngo+3 more|arXiv (Cornell University)|Mar 14, 2017

Data Management and Algorithms被引用数 5

ひとこと要約

この論文は、スパーステンソル演算を用いて、リッジ回帰、多項回帰、因子分解マシン、PCA などの統計的学習モデルを、リレーショナルデータベース内ですべての段階で直接訓練・評価できる統合フレームワークを提示する。リレーショナルデータベース技術と線形代数的手法を統合することで、コストの高いデータエクスポートループを排除し、実世界の小売予測応用で実証された性能向上を実現する、効率的なインメモリ学習を可能にする。

ABSTRACT

In-database analytics is of great practical importance as it avoids the costly repeated loop data scientists have to deal with on a daily basis: select features, export the data, convert data format, train models using an external tool, reimport the parameters. It is also a fertile ground of theoretically fundamental and challenging problems at the intersection of relational and statistical data models. This paper introduces a unified framework for training and evaluating a class of statistical learning models inside a relational database. This class includes ridge linear regression, polynomial regression, factorization machines, and principal component analysis. We show that, by synergizing key tools from relational database theory such as schema information, query structure, recent advances in query evaluation algorithms, and from linear algebra such as various tensor and matrix operations, one can formulate in-database learning problems and design efficient algorithms to solve them. The algorithms and models proposed in the paper have already been implemented and deployed in retail-planning and forecasting applications, with significant performance benefits over out-of-database solutions that require the costly data-export loop.

研究の動機と目的

• 従来の機械学習ワークフローで一般的な、データベースと外部ツール間を繰り返しデータ移動する高コストなデータエクスポートループを排除すること。
• リレーショナルデータベースシステムと統計的学習モデルの間のギャップを埋め、幅広いクラスのモデルをデータベース内で実行可能にする。
• データベースのクエリ最適化とテンソル代数を活用する、スケーラブルで効率的な計算フレームワークを構築すること。
• 小売計画や予測などの実世界の応用において、インデータベース学習の実用的妥当性とパフォーマンス上の利点を実証すること。
• リッジ回帰、多項回帰、因子分解マシン、PCA といった多様な学習モデルを、単一のインデータベース計算パラダイムに統合すること。

提案手法

• リレーショナルデータベースのスキーマ情報とクエリ構造を活用し、学習タスクを最適化されたリlationsアルジャブラ式として表現する。
• 学習モデルに必要なスパーステンソルおよび行列演算を、効率的に計算するための高度なクエリ評価アルゴリズムを採用する。
• 学習モデルをスパーステンソル上の演算として表現することで、ストレージおよび計算オーバーヘッドを最小限に抑える。
• リレーションアルジャブラの技術と、テンソル因子分解や低ランク近似などの線形代数的プリミティブを統合する。
• データベースシステムのクエリ最適化機能を活用し、学習計算をデータベースエンジン内でプッシュダウンおよび並列化する。
• データ移動やフォーマット変換を回避し、モデルの訓練と評価をすべてデータベース内ですべて完結させる。

実験結果

リサーチクエスチョン

• RQ1 リレーショナルデータベース内ですべての段階で多様な統計的学習モデルを訓練・評価できる統合フレームワークを設計可能か？
• RQ2 スパーステンソル演算を、リレーショナルデータベースのクエリ実行モデル内でどのように効率的に表現・最適化できるか？
• RQ3 実世界の機械学習パイプラインにおいて、データエクスポートループを排除することでどの程度のパフォーマンス向上が達成できるか？
• RQ4 標準的なデータベース最適化技術を、統計的学習ワークロードをサポートするためにどの程度拡張可能か？
• RQ5 従来の外部データベース処理アプローチと比較して、提案されたインデータベースアルゴリズムは、効率性およびスケーラビリティの面でどの程度優れているか？

主な発見

• 提案されたフレームワークは、リレーショナルデータベース内ですべての段階でリッジ回帰、多項回帰、因子分解マシン、PCA の訓練と評価を成功裏に実現した。
• データエクスポートやフォーマット変換を回避することで、I/O およびデータ移動のオーバーヘッドが顕著に削減された。
• スパーステンソル演算とデータベースクエリ最適化の統合により、実際の小売予測システムにおいて測定可能なパフォーマンス向上が達成された。
• 複雑な学習ワークロードが、標準SQLおよびリレーションアルジャブラを用いてネイティブに表現・実行可能であることが示された。
• 反復的かつ特徴量の多い学習シナリオにおいて、従来の外部データベースパイプラインに比べて顕著な効率性の向上が達成された。
• 本手法は生産環境にデプロイされており、実世界の小売計画および予測応用において実効的であることが実証された。