[論文レビュー] Utility Theory of Synthetic Data Generation

Shirong Xu, Will Wei Sun+1 more|arXiv (Cornell University)|May 17, 2023

Auction Theory and ApplicationsDecision Sciences被引用数 3

ひとこと要約

本稿は、合成データ生成のための統計的ユーティリティ理論を確立し、オリジナルデータと合成データ上で訓練されたモデルの一般化誤差の差分として一般化されたユーティリティ指標を定義する。解析的バウンディングを導出し、モデル仕様の正しさが、特徴量の正確な忠実度がなくてもユーティリティの収束を可能にすることを示しており、回帰および分類タスクにおける効果的な合成データアルゴリズムの設計に理論的指針を提供する。

ABSTRACT

Synthetic data algorithms are widely employed in industries to generate artificial data for downstream learning tasks. While existing research primarily focuses on empirically evaluating utility of synthetic data, its theoretical understanding is largely lacking. This paper bridges the practice-theory gap by establishing relevant utility theory in a statistical learning framework. It considers two utility metrics: generalization and ranking of models trained on synthetic data. The former is defined as the generalization difference between models trained on synthetic and on real data. By deriving analytical bounds for this utility metric, we demonstrate that the synthetic feature distribution does not need to be similar as that of real data for ensuring comparable generalization of synthetic models, provided proper model specifications in downstream learning tasks. The latter utility metric studies the relative performance of models trained on synthetic data. In particular, we discover that the distribution of synthetic data is not necessarily similar as the real one to ensure consistent model comparison. Interestingly, consistent model comparison is still achievable even when synthetic responses are not well generated, as long as downstream models are separable by a generalization gap. Finally, extensive experiments on non-parametric models and deep neural networks have been conducted to validate these theoretical findings.

研究の動機と目的

• 合成データアルゴリズムが下流のモデル一般化性能に与える影響についての理論的理解の欠如に取り組む。
• オリジナルデータと合成データの間の一般化誤差の差分に基づく、一般的で定量的なユーティリティ指標の開発。
• ユーティリティ指標がゼロに収束するための重要な条件を同定し、合成データがモデル性能を保持することを保証する。
• 合成データアルゴリズムが一般化性能に基づくモデルランク付けを一貫して維持するための十分条件を確立する。
• 非パラメトリックモデルおよび深層ニューラルネットワークを用いた実験を通じて、理論的発見の実証的検証。

提案手法

• オリジナルデータおよび合成データ上で訓練されたモデルの一般化誤差の絶対差としてユーティリティ指標を定義する。
• 回帰および分類におけるユーティリティ指標の解析的バウンディングを導出し、4つの構成要素に分解する：推定誤差、合成特徴品質、回帰関数推定、モデル仕様。
• カイ二乗発散およびフィデリティレベルの概念を用いて、オリジナルおよび合成特徴分布間の類似度を特徴付ける。
• モデル仕様の正しさや特徴量の忠実度など、さまざまな仮定の下でユーティリティ指標の収束条件を確立する。
• 3つの例（ガウス混合、有界密度比、(V,d)-フィデリティレベル）にバウンディングを適用し、さまざまな分布にわたるロバストネスを示す。
• 非パラメトリックモデルおよびディープラーニングモデルを用いた広範な実験を通じて、理論的結果の実証的検証。

Figure 1 : The architecture for generating and evaluating synthetic data in supervised learning.

実験結果

リサーチクエスチョン

• RQ1 オリジナルデータと合成データ上で訓練されたモデルの一般化誤差差がゼロに収束する条件は何か？
• RQ2 モデル仕様の正しさが、ユーティリティ収束のための完全な特徴量忠実度の必要性にどのように影響するか？
• RQ3 一般化性能の順序付けを保持するため、合成データアルゴリズムが満たすべき性質は何か？
• RQ4 ユーティリティ指標の構成要素（推定誤差、特徴品質、関数推定、モデル仕様）が全体のユーティリティにどのように影響するか？
• RQ5 異なるモデルアーキテクチャおよびデータタイプにわたって、ユーティリティの理論的バウンディングを実証的に検証できるか？

主な発見

• 合成特徴量に完全な忠実度があり、かつ特徴量と応答変数の関係が合成データ生成アルゴリズムによって適切に近似されている場合、ユーティリティ指標はゼロに収束する。
• 驚くべきことに、モデル仕様が正しければ、完全な特徴量忠実度がなくてもユーティリティ収束が達成可能であり、分布の忠実度よりもモデル構造の重要性が浮き彫りになる。
• 解析的バウンディングはユーティリティを4つの主要な構成要素に分解し、特定の誤差源に焦点を当てた合成データアルゴリズムの改善のためのロードマップを提供する。
• 有界密度比を有する分布では、(V,d)-フィデリティレベルを用いてオリジナルと合成分布間のカイ二乗発散をバウンディングでき、きわめて緩い条件下でもユーティリティ収束を保証する。
• 実証的検証により、理論的バウンディングが非パラメトリックモデルおよびディープニューラルネットワークの両方で成り立つことが確認され、提案フレームワークのロバストネスを裏付ける。
• 本フレームワークは、合成データに基づくモデル一般化性能の順位付けがオリジナルデータに基づくものと一致する十分条件を確立しており、信頼性のあるモデル比較を可能にする。

Figure 2 : An illustrative example for consistent model comparison when the synthetic and original distributions are not the same.