[論文レビュー] Measuring the quality of Synthetic data for use in competitions

James Jordon, Jinsung Yoon+1 more|arXiv (Cornell University)|Jun 29, 2018

Privacy-Preserving Technologies in Data参考文献 13被引用数 16

ひとこと要約

本論文は、機械学習コンペティションにおける合成データの品質を評価するための新しい指標である Synthetic Ranking Agreement (SRA) を提案する。SRA は、合成データ上でアルゴリズムの相対的性能順位が実データ上の順位と一致するかどうかを測定することで、合成データに基づいてモデルを選択する研究者が、実データに基づいて選択するのと同じ選択を下すことを保証する。従来の TSTR よりもより関連性が高く、プライバシーに配慮した評価が可能である。

ABSTRACT

Machine learning has the potential to assist many communities in using the large datasets that are becoming more and more available. Unfortunately, much of that potential is not being realized because it would require sharing data in a way that compromises privacy. In order to overcome this hurdle, several methods have been proposed that generate synthetic data while preserving the privacy of the real data. In this paper we consider a key characteristic that synthetic data should have in order to be useful for machine learning researchers - the relative performance of two algorithms (trained and tested) on the synthetic dataset should be the same as their relative performance (when trained and tested) on the original dataset.

研究の動機と目的

• 機微なデータの共有ができないため、プライバシー保護型機械学習コンペティションにおける合成データ品質の評価の課題に対処すること。
• 合成データに基づいてモデルを選択する研究者が、実データに基づいて選択するのと同じ選択を下すことを保証すること。
• 単なる統計的類似性ではなく、アルゴリズム比較における実用的有用性を反映する指標を提案すること。
• SRA が、特にラベルノイズの下で、TSTR よりも強固なプライバシー保証を提供できることを示すこと。
• 12種類の多様な機械学習アルゴリズムを用いた、合成データ生成手法の実用的かつ再現可能なベンチマークを提供すること。

提案手法

• SRA を、任意の2つのアルゴリズムの合成データ上での相対的性能順位が、実データ上での順位と一致する確率を測定する指標として提案する。
• SRA を数学的に定義し、実データと合成データの両方で2つのアルゴリズム間の性能差の符号が保存されるペアワイズ比較の割合として定義する。
• 12種類の多様な機械学習アルゴリズム（例：ロジスティック回帰、XGBoost、ランダムフォレスト）の固定セットを用いて、合成データと実データにおける順位の一貫性を評価する。
• 標準的な性能指標（AUROC）を用いて、実データおよび合成データのテストセット上でアルゴリズムの性能を計算する。
• プライバシーと品質のトレードオフを評価するために、ラベルノイズの異なるレベルで SRA と TSTR（Training on Synthetic, Testing on Real）を比較する。
• MAGGIC データセットを用いて実験的評価を行い、再現性を確保するため、コードを公開する。

実験結果

リサーチクエスチョン

• RQ1 機械学習アルゴリズムの合成データ上での相対的性能順位は、実データ上での順位を信頼性高く反映しているか？
• RQ2 SRA は、コンペティション設定における合成データの評価に、TSTR よりも効果的かつプライバシーに配慮した指標として機能できるか？
• RQ3 プライバシーのためのラベルノイズの増加が、SRA と TSTR に与える影響は何か？ これは、合成データの有用性とプライバシーのトレードオフに何を示唆するか？
• RQ4 同じアルゴリズムクラスの複数のバリエーション（例：異なる深さのMLP）を含めると、SRA 指標にどのようなバイアスが生じるか？
• RQ5 SRA は、実データにノイズを加えても、アルゴリズムの順位一貫性を保つ合成データ生成手法を特定できるか？

主な発見

• SRA はラベルノイズを導入しても安定的であるか、わずかに上昇する傾向を示し（例：p=0.10 から p=0.15 に変更）、TSTR よりもデータの摂動に対して感受性が低いことが示された。
• TSTR の性能は、想定通り、ラベルノイズの増加に伴い単調に低下する。これは、ノイズの多いデータ上でモデルの精度が低下するためである。
• SRA は、強いプライバシー制約下でもアルゴリズム順位の一貫性を保つ合成データ生成手法を特定でき、より優れたプライバシーと有用性のトレードオフを示している。
• 同じアルゴリズムクラスの複数のバリエーション（例：異なる深さのMLP）を含めると、SRA が人工的に上昇する可能性があるため、評価におけるアルゴリズム選択に注意が必要である。
• SRA は、TSTR よりもコンペティションベースのモデル開発により関連性のある評価指標を提供する。これは、アルゴリズム選択の一貫性を直接測定しているからである。
• SRA はノイズに対して頑健であり、実データが摂動されても高い順位一致を維持する。これは、プライバシー保護型機械学習応用に最適である。