[論文レビュー] Fast Learning from Distributed Datasets without Entity Matching

Giorgio Patrini, Richard Nock+2 more|arXiv (Cornell University)|Mar 13, 2016

Data Quality and Management参考文献 6被引用数 5

ひとこと要約

本稿では、エンティティマッチングを必要とせず、分散データセットから高速でプライバシー保護された教師あり学習を実現する、画期的なエンドツーエンド手法を提案する。ラマチャール観測（rados）を活用することで、計算コストが高く、しばしば不正確なエンティティ解決のステップを回避し、特に共有IDのない垂直分割データ設定において、時間的・空間的複雑性を著しく低減しながら、同等またはそれ以上の性能を達成する。

ABSTRACT

Consider the following data fusion scenario: two datasets/peers contain the same real-world entities described using partially shared features, e.g. banking and insurance company records of the same customer base. Our goal is to learn a classifier in the cross product space of the two domains, in the hard case in which no shared ID is available -- e.g. due to anonymization. Traditionally, the problem is approached by first addressing entity matching and subsequently learning the classifier in a standard manner. We present an end-to-end solution which bypasses matching entities, based on the recently introduced concept of Rademacher observations (rados). Informally, we replace the minimisation of a loss over examples, which requires to solve entity resolution, by the equivalent minimisation of a (different) loss over rados. Among others, key properties we show are (i) a potentially huge subset of these rados does not require to perform entity matching, and (ii) the algorithm that provably minimizes the rado loss over these rados has time and space complexities smaller than the algorithm minimizing the equivalent example loss. Last, we relax a key assumption of the model, that the data is vertically partitioned among peers --- in this case, we would not even know the existence of a solution to entity resolution. In this more general setting, experiments validate the possibility of significantly beating even the optimal peer in hindsight.

研究の動機と目的

• ピア間で共有識別子が存在しない分散データセット上で、正確な分類器を訓練する課題に対処すること。
• 現実のデータ統合シナリオにおいて計算コストが高く、誤りが生じやすいエンティティマッチングの必要性を排除すること。
• 生データの転送を避けることでプライバシーを保ちつつ、スケーラブルで通信効率の良い学習フレームワークを構築すること。
• 集計統計（rados）が、二乗損失やリッジ正則化損失を最小化するために十分であることを示すこと。
• 垂直分割データに限らない一般化された設定にまで、分散学習の適用範囲を拡張すること。

提案手法

• 標準の例レベル損失最小化を、データブロックの部分集合に関する集計統計であるラマチャール観測（rados）に基づく最小化に置き換える。
• 各ピアで局所的にradosが構築され、固定サイズのデータブロックの特徴ベクトルとラベルの和をとることで、効率的かつプライベートな計算が可能になる。
• 中央学習者には生データではなくradosのみが送信されるため、通信コストとストレージコストが削減されつつ、モデルの正確性が維持される。
• radosが二乗損失にリッジ正則化を施した最小化において十分統計量であるという事実を、定理3で証明している。
• アルゴリズムは証明可能な効率性を有する：時間的・空間的複雑性は例の数に対して非線形であり、従来のエンティティ解決ベースのパイプラインを上回る。
• データの重複が未知の一般化された分散設定に対しても、本手法を拡張し、厳密な垂直分割仮定を緩和する。

実験結果

リサーチクエスチョン

• RQ1 エンティティマッチングを実施せずに、分散データセットから正確な教師あり学習を達成できるか？
• RQ2 ラマチャール観測（rados）は、完全に結合されたデータで学習した場合と同等のモデル性能を回復できるか？
• RQ3 従来のエンティティ解決パイプラインと比較して、本手法は計算コストおよび通信コストを低減できるか？
• RQ4 ピア間のデータ重複が未知または一部欠落している場合でも、本手法は適用可能か？
• RQ5 radosにおける交差検証の統計的挙動は、生データにおけるものと比べてどうなるか？

主な発見

• 本手法は、完全なエンティティ解決後に学習したモデルと同等の分類性能を達成しており、マッチングステップを一切実施していないにもかかわらず同様の性能を示す。
• radosに基づく学習アルゴリズムの時間的・空間的複雑性は、エンティティ解決ベースのアプローチと比較して顕著に低く抑えられており、特に大規模な設定において顕著である。
• radosにより、データの表現サイズを $m \times d$ から $m^\star \times d$ に圧縮可能であり、ここで $m^\star \ll m$ である。
• 実験では、本手法は後から見返した場合に最も優れた個別ピアの性能を上回ることを示しており、マッチングなしの統合による利点を実証している。
• 未知のデータ重複に対しても本手法は頑健であり、厳密な垂直分割を越えた一般化された分散設定でも効果的に機能する。
• 理論的分析により、radosが二乗損失にリッジ正則化を施した最小化において十分統計量であることが確認され、モデルの一貫性が保証される。