[論文レビュー] Auditing and Generating Synthetic Data with Controllable Trust Trade-offs

Brian Belgodere, Pierre Dognin+12 more|arXiv (Cornell University)|Apr 21, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本論文は、忠実度、有用性、プライバシー、公平性、耐性の5つの側面において合成データの信頼性を包括的に評価するためのフレームワークを提案する。制御可能な信頼性インデックスを用いてモデル選択を支援する。信頼性を最適化する交差検証を経て訓練された微分可能生成モデル「TrustFormers」を導入し、さまざまなデータセット（例：法科大学院、医療分野）において、異なるトレードオフ状況下で優れた性能を示した。不確実性を考慮した場合、合成データは10件の重み付き評価のうち6件で最高順位を記録した。

ABSTRACT

Real-world data often exhibits bias, imbalance, and privacy risks. Synthetic datasets have emerged to address these issues. This paradigm relies on generative AI models to generate unbiased, privacy-preserving data while maintaining fidelity to the original data. However, assessing the trustworthiness of synthetic datasets and models is a critical challenge. We introduce a holistic auditing framework that comprehensively evaluates synthetic datasets and AI models. It focuses on preventing bias and discrimination, ensures fidelity to the source data, assesses utility, robustness, and privacy preservation. We demonstrate the framework's effectiveness by auditing various generative models across diverse use cases like education, healthcare, banking, and human resources, spanning different data modalities such as tabular, time-series, vision, and natural language. This holistic assessment is essential for compliance with regulatory safeguards. We introduce a trustworthiness index to rank synthetic datasets based on their safeguards trade-offs. Furthermore, we present a trustworthiness-driven model selection and cross-validation process during training, exemplified with "TrustFormers" across various data types. This approach allows for controllable trustworthiness trade-offs in synthetic data creation. Our auditing framework fosters collaboration among stakeholders, including data scientists, governance experts, internal reviewers, external certifiers, and regulators. This transparent reporting should become a standard practice to prevent bias, discrimination, and privacy violations, ensuring compliance with policies and providing accountability, safety, and performance guarantees.

研究の動機と目的

• 多様なモダリティおよび規制要件をカバーする合成データに対する包括的で多次元的な監査の欠如に対処すること。
• プライバシー、公平性、有用性といった主要な保護策の間のトレードオフを定量化する統一された信頼性インデックスの開発。
• 信頼性インデックスに従ってモデル選択と交差検証をガイドすることで、合成データ生成における制御可能な信頼性の実現。
• EU AI法や米国アルゴリズム責任法といった進化するAI規制に準拠するため、透明性があり監査可能な合成データを提供すること。
• 規制当局、データサイエンティスト、ガバナンスチームなどのステークホルダー間の協働を、標準化されたレポート作成とリスクの透明性により促進すること。

提案手法

• 合成データの信頼性を、忠実度、有用性、プライバシー、公平性、耐性という5つの信頼の柱で評価する包括的監査フレームワークを提案。
• 信頼性の各次元における重み付きスコアを統合する信頼性インデックスを導入し、トレードオフ分析を可能にする。
• 訓練中に信頼性駆動の交差検証プロセスを採用し、望ましい保護措置のトレードオフを満たすモデルの選択を実現。
• 特定の信頼性インデックス設定に最適化された損失関数を用いて訓練された、微分可能な生成モデル「TrustFormers」を開発。
• 統計的変動を考慮した不確実性対応評価を $ R^{ au}_{ au} $ を用いて実施し、データスプリットの変動に対する信頼性の高い順位付けを向上。
• 教育、医療、銀行、人事のユースケースをカバーする、表形式、時系列、視覚、NLPのモダリティにわたる実世界のデータセットを用いてフレームワークを検証。

実験結果

リサーチクエスチョン

• RQ1 忠実度、有用性、プライバシー、公平性、耐性という複数の信頼次元を同時に評価する合成データの包括的監査は、どのように実現できるか？
• RQ2 合成データ生成における競合する信頼的目標間のトレードオフを効果的に定量化・制御する方法は何か？
• RQ3 信頼性インデックスは、より信頼性が高く、規制適合性の高い合成データを生成するためのモデル選択と交差検証を改善できるか？
• RQ4 データスプリットにおける不確実性を考慮すると、合成データの性能順位と信頼性にどのような影響が生じるか？
• RQ5 制御可能な信頼性トレードオフの下で、TrustFormersは従来のベースライン（例：SDV、DP-GAN、PATE-GAN）を上回る性能を示せるか？

主な発見

• 信頼性インデックスを用いて訓練されたTrustFormersは、法科大学院データセットにおいて10の重み設定のうち6つで他の合成データを上回り、平均信頼性インデックスが最高を記録した。
• 不確実性を $ R^{ au}_{ au} $ を用いて考慮した場合、TrustFormersの合成データはリーダーボードで再びトップ順位に返り輝き、データスプリットの変動に対して高い耐性を示した。
• プライベートなTrustFormer（$ ho = 3 $ および $ ho = 1 $）は、複数の指標で最高の信頼性インデックススコア（それぞれ39および38）を達成し、非プライベートベースライン（SDV-CTGAN）でさえも上回った。
• フレームワークは、$ ho = 3 $ のDP-GANが近似的に完全なプライバシーを達成した一方で、有用性と公平性に劣ることを特定し、トレードオフの存在を明確にした。
• 信頼性インデックスは、多様なモダリティおよびユースケースにおいて合成データを効果的に順位付けでき、TrustFormersは全評価で常に上位10%に位置した。
• 不確実性対応評価の導入により順位のばらつきが低減され、TrustFormersがデータスプリットの統計的変動に対しても高い性能を維持していることが示された。