[論文レビュー] Coresets for Relational Data and The Applications

Jiaxiang Chen, Qingyuan Yang+2 more|arXiv (Cornell University)|Oct 9, 2022

Advanced Clustering Algorithms Research被引用数 4

ひとこと要約

本稿では、『疑似立方体を用いた集約ツリー』技術を用いて、完全な設計行列を物性せずに大規模で結合最適化されたデータベース上で効率的な機械学習を可能にする、関係データ向けの新規コアセット構築手法を提案する。この手法は、クラスタリング、ロジスティック回帰、SVM に対して、証明可能（ε₁, ε₂）-コアセットの保証を提供し、実行時間を顕著に短縮しながらも、高い最適化品質を維持する。

ABSTRACT

A coreset is a small set that can approximately preserve the structure of the original input data set. Therefore we can run our algorithm on a coreset so as to reduce the total computational complexity. Conventional coreset techniques assume that the input data set is available to process explicitly. However, this assumption may not hold in real-world scenarios. In this paper, we consider the problem of coresets construction over relational data. Namely, the data is decoupled into several relational tables, and it could be very expensive to directly materialize the data matrix by joining the tables. We propose a novel approach called ``aggregation tree with pseudo-cube'' that can build a coreset from bottom to up. Moreover, our approach can neatly circumvent several troublesome issues of relational learning problems [Khamis et al., PODS 2019]. Under some mild assumptions, we show that our coreset approach can be applied for the machine learning tasks, such as clustering, logistic regression and SVM.

研究の動機と目的

• 完全なテーブル結合が計算的に非現実的である大規模な関係データ向けにコアセットを構築する課題に対処すること。
• 完全な設計行列を明示的に物性せずに、正規化され分離された関係データベース上で効率的な機械学習を可能にすること。
• 特にクラスタリング、ロジスティック回帰、SVM などのERM問題における関係的設定におけるコアセットの理論的保証を提供すること。
• 従来のコアセット構築を阻害するNP困難な関係集約クエリ（例：FAQ-AI）の課題を克服すること。
• データベースシステムと効率的に統合可能なスケーラブルでボトムアップのコアセット構築パイプラインを設計すること。

提案手法

• 関係テーブルの階層的集約を通じてコアセットをボトムアップに構築する『疑似立方体を用いた集約ツリー』フレームワークを提案する。
• 完全な等価結合を物性せずに、結合経路上の集約関数をコンパクトに表現・計算できる疑似立方体データ構造を用いる。
• 損失関数の弱い仮定の下で、集中限界を用いた重み付きサンプリングを適用し、(ε₁, ε₂)-コアセット品質を保証する。
• 各レベルが子ノードからのコアセット情報を損失感受性サンプリングを用いて集約する再帰的コアセット構築戦略を採用する。
• k-means やロジスティック回帰向けの既存コアセットアルゴリズム（例：k-means, ロジスティック回帰）と統合し、結合に跨る損失関数の構造を保持する。
• 定理1および定理2を用いて、コアセット品質とサンプリング複雑度を形式的に境界付け、高確率（1−λ）での正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 完全な設計行列を物性せずに、機械学習タスクの最適化品質を保持しつつ、関係データ向けにコアセットを構築可能か？
• RQ2 完全な等価結合を伴わずに、正規化された関係テーブル上で集約関数（例：クラスタリングの割り当て）を効率的に計算する方法は何か？
• RQ3 特にNP困難なクエリ評価が課題となる状況下で、関係データベースにおけるコアセットにどのような理論的保証を提供できるか？
• RQ4 提案手法は実世界の関係データに対してスケーラブルであり、一様サンプリングや全行列ベースラインを上回る性能を示せるか？
• RQ5 既存の関係学習手法と比較して、『疑似立方体を用いた集約ツリー』の実行時間と最適化品質はどのように異なるか？

主な発見

• 提案手法 RCore は、一様サンプリングや Ori-Gon ベースラインよりも顕著に高い最適化品質を達成し、SVM におけるコアセットサイズ1000で Approx. 値が0.02まで低下する（Q1）。
• SVM において、RCore はコアセットサイズ1000でエンドツーエンド実行時間を531秒にまで短縮したのに対し、Original 法は21,600秒以上を要した（Q1）。
• Favorita の Q4 における k_c-means クラスタリングにおいて、RCore はコアセットサイズ800で Approx. 値0.16を達成し、Uniform（2.23）と Ori-Gon（1.12）を上回った。
• 本手法は効率的にスケーリング可能である：RCore の実行時間はコアセットサイズに対して劣線形に増加するが、Original および Ori-Gon は完全な行列構築のため、線形以上に増加する。
• 理論的分析により、高確率（1−λ）でコアセットが (ε₁, ε₂)-コアセット品質を達成することが示され、サンプリング複雑度は O(k²md) である。
• 疑似立方体を用いることで、関係集約のNP困難性を回避し、結合経路に跨る集約を効率的に圧縮・計算できる。