[論文レビュー] Differentially private methods for managing model uncertainty in linear regression models

Víctor Peña, Andrés F. Barrientos|arXiv (Cornell University)|Sep 8, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用数 6

ひとこと要約

本稿では、正規線形回帰モデルにおける仮説検定、モデル平均化、モデル選択のための微分プライバシー手法を提案する。データ分割と打ち切り、および十分統計量の摂動を用いてプライバシーを確保する。この手法は漸近的整合性を維持し、補正された臨界値と不確実性の定量化を提供する。有限標本における有効性とスパarsityに強い性能についての実用的ガイドラインも提示する。

ABSTRACT

In this work, we propose differentially private methods for hypothesis testing, model averaging, and model selection for normal linear models. We consider Bayesian methods based on mixtures of $g$-priors and non-Bayesian methods based on likelihood-ratio statistics and information criteria. The procedures are asymptotically consistent and straightforward to implement with existing software. We focus on practical issues such as adjusting critical values so that hypothesis tests have adequate type I error rates and quantifying the uncertainty introduced by the privacy-ensuring mechanisms.

研究の動機と目的

• 正規線形モデルにおけるモデル不確実性を扱う微分プライバシー手順の開発、仮説検定、モデル平均化、モデル選択を含む。
• 非プライベート手法と類似した正則性条件下で、提案手法の漸近的整合性を保証すること。
• データ分割と打ち切りによるバイアスといった実用的課題を解決すること。
• シミュレーションベースの補正と信頼集合を用いて、プライバシー機構がもたらす不確実性を定量化すること。
• 真のモデルのスパarsityに応じて、しきい値処理ありとなしの手法の選択に関する実用的ガイドラインを提供すること。

提案手法

• ネストされたモデル比較のための微分プライバシー検定統計量を構築するために、データ分割と打ち切りを用いたサブサンプルとアグリゲート手法を用いる。
• 十分統計量の摂動を適用して、摂動の分散を予測子数の二次関数的成長に抑えることで、指数関数的成長を回避する。
• ベイジアン枠組みではg-ハイパーパラメータの混合を、非ベイジアン設定では尤度比統計量と情報基準（AIC、BIC）を用いる。
• 帰無仮説の下でのプライベート検定統計量の分布をシミュレーションすることで臨界値を補正し、適切な第一種の誤り率を維持する。
• 繰り返しシミュレーションからの平均ヒストограмを用いてプライバシー由来の不確実性を定量化し、事後分布の要約の信頼集合を報告する。
• スパarsityが予想される場合には、摂動された十分統計量に対してハードしきい値処理を後処理として推奨し、しきい値処理あり・なしの両方のバージョンを用いた二重分析によりプライバシー予算を保つ。

実験結果

リサーチクエスチョン

• RQ1 データ分割と打ち切りを伴う場合でも、適切な第一種の誤り率を維持しつつ、ネストされた線形モデルに対する微分プライバシー仮説検定をどのように構築できるか。
• RQ2 データ分割と打ち切りが微分プライバシー検定統計量の性能に与える影響は何か。バイアスはどのように是正できるか。
• RQ3 プライバシー機構がもたらす不確実性を統計的に意味のある方法で定量化・報告するにはどうすればよいか。
• RQ4 どのような状況でしきい値処理ありの手法となしの手法がより優れているか。実務ではどのように活用できるか。
• RQ5 微分プライバシーに基づくモデル平均化およびモデル選択手順は、非プライベート手法と類似した正則性条件下で整合性を保つことができるか。

主な発見

• データ分割と打ち切りの影響を受けても、シミュレーションベースの臨界値補正により、微分プライバシー仮説検定は補正された第一種の誤り率を達成する。
• 十分統計量の摂動の使用により、摂動項の分散が予測子数の二次関数的成長に抑えられ、指数関数的成長を回避する。
• 250回のシミュレーション実行からの平均ヒストограмは、プライベート推定値が非プライベート結果をよく追跡していることを示し、分散の増加はプライバシー由来の不確実性を示している。
• 真のモデルがスパースな場合、しきい値処理ありの手法が非しきい値処理ありの手法を上回るが、ほとんどの予測子が活性な場合は非しきい値処理ありの手法が好ましい。
• 信頼集合の報告は、プライバシー機構がもたらす不確実性を定量化する上で価値あるツールであることが判明した。
• 非プライベートモデル選択と類似した正則性条件下で、これらの手法は漸近的整合性を示し、長期的な信頼性を保証する。