[論文レビュー] Two-Stage Data Synthesization: A Statistics-Driven Restricted Trade-off between Privacy and Prediction

Xiaotong Liu, Shao-Bo Lin+2 more|arXiv (Cornell University)|Feb 9, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

この論文は、最初に合成-ハイブリッド手順で分布を保持し、次いでカーネルリッジ回帰を用いて応答を再構成する二段階の合成データ生成フレームワークを提案し、統計に基づく制限付きプライバシー–予測トレードオフを実現する。

ABSTRACT

Synthetic data have gained increasing attention across various domains, with a growing emphasis on their performance in downstream prediction tasks. However, most existing synthesis strategies focus on maintaining statistical information. Although some studies address prediction performance guarantees, their single-stage synthesis designs make it challenging to balance the privacy requirements that necessitate significant perturbations and the prediction performance that is sensitive to such perturbations. We propose a two-stage synthesis strategy. In the first stage, we introduce a synthesis-then-hybrid strategy, which involves a synthesis operation to generate pure synthetic data, followed by a hybrid operation that fuses the synthetic data with the original data. In the second stage, we present a kernel ridge regression (KRR)-based synthesis strategy, where a KRR model is first trained on the original data and then used to generate synthetic outputs based on the synthetic inputs produced in the first stage. By leveraging the theoretical strengths of KRR and the covariant distribution retention achieved in the first stage, our proposed two-stage synthesis strategy enables a statistics-driven restricted privacy--prediction trade-off and guarantee optimal prediction performance. We validate our approach and demonstrate its characteristics of being statistics-driven and restricted in achieving the privacy--prediction trade-off both theoretically and numerically. Additionally, we showcase its generalizability through applications to a marketing problem and five real-world datasets.

研究の動機と目的

• プライバシー保護されたデータ共有の必要性を、正確な下流予測をサポートする観点とともに動機づける。
• 統計だけに焦点を当てるのではなく、プライバシーと予測をバランスさせる二段階SDGフレームワークを導入する。
• 第一段階で共変分布の保持を確保し、第二段階で信頼性のある予測を支える。
• 分布の変化や不一致下での予測性能を、モデルベースの合成段階を通じて保証する。

提案手法

• Stage 1 は、共変分布保持を実現するコントロール可能なハイブリッドパラメータ alpha による synthesis-then-hybrid 戦略を用いて合成入力を生成する。
• Stage 2 は、元データ上でカーネルリッジ回帰モデルを訓練し、それを用いて合成入力から合成出力を生成し、応答再構成を実現する。
• 第一段階は、ラテン方形サンプリング、GAN、拡散モデルなどのさまざまな戦略を採用可能であり、本論はLHS-Hアプローチを具体例として実装する。
• KRRベースの第二段階は、カーネル法の安定性と分布ミスマッチ耐性を活用して予測性能を保持する。
• 統合された LHS-H-KRR パイプラインは、データ合成に予測を組み込むことにより、統計駆動かつ制限付きプライバシー–予測トレードオフを実現する。
• 理論的正当性は、共変分布保持と分布シフト下での最適予測保証との関係を結びつける。

実験結果

リサーチクエスチョン

• RQ1 二段階のSDG設計は、単一段階よりも制御されたプライバシー–予測トレードオフを提供できるか。
• RQ2 第一段階における共変分布保持は、KRRベースの第二段階を用いた下流の予測にどのような影響を与えるか。
• RQ3 分布の変化の下で、KRRベースの発生器は匿名化データ上の元の回帰関係を信頼性高く再構成できるか。
• RQ4 第一段階の合成を他の方法に置換した場合、プライバシーと予測の結果にどのような影響があるか。

主な発見

• 二段階設計（LHS-H-KRR）は、データ合成に予測を明示的に統合し、プライバシー–予測トレードオフを実現する。
• 合成-ハイブリッド段階は共変分布を保持し、分布差異がある場合でも堅牢な予測を可能にする。
• KRRベースの第二段階は安定した予測性能と分布ミスマッチ耐性を提供する。
• LHSベースの合成は、GANや拡散モデルよりも効率性と解釈性の利点を提供しつつ、主要統計量を維持する。
• 本フレームワークはマーケティングタスクと五つの実世界データセットを横断して実証され、一般性を示唆する。